Compartilhar via

Databricks Runtime 17.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 17.3 LTS, alimentado pelo Apache Spark 4.0.0.

O Azure Databricks lançou esta versão do LTS em outubro de 2025.

Novos recursos e melhorias

EXECUTE IMMEDIATE usando expressões constantes

Agora você pode passar expressões constantes como string SQL e como argumentos para marcadores de parâmetro nas instruções EXECUTE IMMEDIATE.

LIMIT ALL suporte para CTEs recursivas

Agora você pode usar LIMIT ALL para remover a restrição de tamanho total em CTEs (expressões de tabela comuns recursivas).

JDK 21 para computação clássica (versão prévia pública)

O JDK 21 (Java Development Kit) está em versão prévia pública para computação clássica. Para habilitá-lo, consulte Criar um cluster com uma versão específica do JDK.

Acrescentar arquivos em volumes do Catálogo do Unity retorna um erro correto

Qualquer código que tenta acrescentar conteúdo a um arquivo de volume do Catálogo do Unity agora falha com uma mensagem de erro "Busca ilegal". Anteriormente, ele falhava com um erro incorreto de "operação sem suporte".

TABLE suporte a argumentos para UDTFs do Unity Catalog no Python

Os UDTFs Python do Unity Catalog agora oferecem suporte a argumentos TABLE, permitindo que as funções aceitem tabelas inteiras como parâmetros de entrada e possibilitando transformações de dados e agregações mais complexas em conjuntos de dados estruturados. Consulte UDTFs (funções de tabela definidas pelo usuário) do Python no Catálogo do Unity. O suporte a argumentos de tabela foi retrocompatibilizado no Databricks Runtime 17.2.

st_dump suporte à função

Agora você pode usar a st_dump função para obter uma matriz que contém as geometrias simples da geometria de entrada. Veja a st_dump função.

Agora há suporte para funções de anéis internos de polígonos

Agora você pode usar as seguintes funções para trabalhar com anéis interiores de polígono:

remote_query Função com valor de tabela (versão prévia pública)

Agora você pode usar a remote_query função com valor de tabela para executar consultas em mecanismos de banco de dados remotos e retornar resultados tabulares. Essa função busca dados de sistemas remotos usando credenciais de conexões do Catálogo do Unity e dá suporte a várias opções de conector para bancos de dados SQL e NoSQL. Consulte TVF remote_query.

Alterações comportamentais

input_file_name não há mais suporte para a função e está sujeita à remoção futura

A input_file_name função foi preterida desde o Databricks Runtime 13.3 LTS porque não é confiável. A função não tem mais suporte no Databricks Runtime 17.3 LTS e superior porque não é confiável. Use _metadata.file_name em vez disso.

Alteração no padrão de listagem incremental do Auto Loader.

O padrão para a opção preterida cloudFiles.useIncrementalListing foi alterado de auto para false. O Azure Databricks agora executa listagens de diretório completas em vez de listagens incrementais para evitar arquivos ignorados devido à ordenação não lexicográfica. Por exemplo, 10-01-2025.csv vem antes de 8-01-2025.csv lexicograficamente.

O Databricks recomenda a migração para eventos de arquivo para uma descoberta de arquivo mais rápida e confiável.

Para preservar o comportamento anterior, defina cloudFiles.useIncrementalListing explicitamente como auto.

Dar suporte à atualização de informações de MV/ST em DESCRIBE EXTENDED AS JSON

O Azure Databricks agora gera uma seção para informações de visão materializada e atualização de tabela de streaming na saída, incluindo hora da última atualização, tipo de atualização, status e agendamento.

Adicionar coluna de metadados a DESCRIBE QUERY e DESCRIBE TABLE

O Azure Databricks agora inclui uma coluna de metadados na saída de DESCRIBE QUERY e DESCRIBE TABLE para metadados semânticos.

Para DESCRIBE QUERY, ao descrever uma consulta com visualizações de métricas, os metadados semânticos propagam-se pela consulta se as dimensões forem referenciadas diretamente e as medidas usarem a função MEASURE().

Para DESCRIBE TABLE, a coluna de metadados aparece apenas para exibições de métrica, não para outros tipos de tabela.

Corrigir a conversão de valor temporal em literais de struct ao usar o modo Connect

No modo Spark Connect, os struct literals no TypedLit agora tratam valores temporais corretamente ao invés de gerar exceções. Anteriormente, tentar usar valores temporais (como datas ou timestamps) em literais de estruturas resultaria em uma exceção.

Alterar a precisão e a escala decimais no SYSTEM_DEFAULT modo Connect

Ao usar o modo Spark Connect no Scala, a precisão decimal e a escala em literais de matriz e mapa agora são alteradas para SYSTEM_DEFAULT (38, 18). Essa alteração afeta apenas o plano lógico (por exemplo, a saída do comando) e não afeta os explain() resultados da consulta.

Suporte para tipos complexos em observações no cliente Scala do Spark Connect

O cliente do Spark Connect Scala agora oferece suporte a tipos de array, mapa e struct em registros, alinhando o comportamento com clusters dedicados. Anteriormente, tentar usar esses tipos complexos em observações resultaria em uma exceção.

Preservar valores nulos em literais de array, mapa e estruturas

No modo Spark Connect, valores nulos dentro de literais de matriz, mapa e estrutura agora são preservados em vez de serem substituídos por valores padrão do protocolo protobuf. Anteriormente, os valores nulos eram substituídos incorretamente por valores padrão, como 0 para inteiros, cadeias de caracteres vazias para tipos de cadeia de caracteres e false para tipos boolianos.

Preservar a nulabilidade para literais tipados

O cliente do Spark Connect Scala agora preserva corretamente a nulidade de tipos de array e mapa para literais tipados. Anteriormente, os elementos de matriz e os valores do mapa sempre eram tratados como anuláveis, independentemente da definição de tipo real.

Corrigir a conversão de case class em literais de array e mapa

No modo Spark Connect, literais de array e mapa em TypedLit agora manipulam corretamente os valores de classes de casos ao invés de lançar exceções. Anteriormente, a tentativa de usar valores de classe de caso em literais de array ou mapa resultaria em uma exceção.

Manipulação correta de estruturas nulas ao excluir NullType colunas

Ao gravar em tabelas Delta, o Azure Databricks agora preserva corretamente valores de struct nulos ao removendo colunas NullType do esquema. Anteriormente, os structs nulos eram substituídos incorretamente por valores de struct não nulos em que todos os campos eram definidos como nulos. Por exemplo, inserir um valor de struct nulo posteriormente seria lido novamente como um struct com campos nulos em vez de um struct nulo.

Manipulação aprimorada de structs nulos no Parquet

O Azure Databricks agora detecta corretamente estruturas nulas quando todos os campos de estrutura solicitados estão ausentes de um arquivo Parquet, o que torna o comportamento consistente entre leitores Photon e não-Photon. Anteriormente, os leitores não-Photon retornavam NULL para todo o 'struct' em vez de uma estrutura com campos nulos ao ler arquivos Parquet em que todos os campos solicitados estavam ausentes, mas outros campos estavam presentes.

Atualizar a biblioteca aws-msk-iam-auth para Kafka

A aws-msk-iam-auth biblioteca foi atualizada para a versão 2.0.1 para dar suporte à configuração de um endpoint STS (Serviço de Token de Segurança) regional para autenticação IAM do Managed Streaming for Apache Kafka (MSK). A nova awsStsRegion opção só estará disponível quando a configuração do Spark correspondente estiver habilitada. Essa atualização não apresenta nenhuma alteração comportamental para cargas de trabalho existentes.

Atualizações de biblioteca

Bibliotecas do Python atualizadas:

Nenhuma biblioteca do Python foi atualizada nesta versão.

Bibliotecas R atualizadas:

Nenhuma biblioteca do R foi atualizada nesta versão.

Bibliotecas Java atualizadas:

Nenhuma biblioteca Java foi atualizada nesta versão.

Apache Spark

O Databricks Runtime 17.3 LTS inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão 17.2, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

  • SPARK-44856 Reverter "[SC-195808][python] Melhorar o desempenho do serializador de seta UDTF do Python"
  • SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Correção do tratamento de valores nulos em LiteralValueProtoConverter
  • SPARK-53507 Adicionar informações de mudanças significativas aos erros
  • SPARK-53574 Corrigir AnalysisContext sendo eliminado durante a resolução de planos aninhados
  • SPARK-53444 Retrabalho é executado imediatamente
  • SPARK-53560 Loop de falha ao reprocessar lote não confirmado na fonte Kafka com gatilho AvailableNow
  • SPARK-53127 Habilitar LIMIT ALL para substituir o limite de linha de recursão
  • SPARK-53574 Reverter "[SC-206548] Corrigir AnalysisContext sendo apagado...
  • SPARK-53674 Gerenciar LCAs de analisador de passagem única ao atribuir aliases
  • SPARK-53492 Rejeitar o segundo ExecutePlan com um id de operação que já esteja concluída
  • SPARK-53677 Melhorar a facilidade de depuração da fonte de dados JDBC quando a consulta contiver erro de sintaxe
  • SPARK-53490 Corrigir a conversão do Protobuf em métricas observadas
  • SPARK-53671 Excluir 0-args da inferência de @udf tipo de avaliação
  • SPARK-53592 Retrabalho "Tornar a @udf compatível com UDFs vetorizados"
  • SPARK-53654 Retrabalho "Suporte para semente na função uuid"
  • SPARK-53429 Suporte ao particionamento de passagem direta na API de Dataframe do PySpark
  • SPARK-53372 Pacote de runtime de teste compartilhado para LDP
  • SPARK-53574 Corrigir AnalysisContext sendo eliminado durante a resolução de planos aninhados
  • SPARK-53654 Reverter o suporte seed "[SC-207022][sql][PYTHON] na função uuid"
  • SPARK-53574 Reverter "[SC-206548] Rever a correção do AnalysisContext que estava sendo excluído durante a resolução do plano aninhado"
  • SPARK-53559 Corrigir atualizações do esquema HLL para usar bytes de chave de ordenação bruta
  • SPARK-53654 Suporte seed na função uuid
  • SPARK-52449 Tornar os tipos de dados para Expression.Literal.Map/Array opcionais
  • SPARK-53574 Corrigir AnalysisContext sendo eliminado durante a resolução de planos aninhados
  • SPARK-53625 Propagar colunas de metadados por meio de projeções para resolver a incompatibilidade de ApplyCharTypePadding
  • SPARK-53558 Reverter "[SC-206544][sql] Mostrar nome de tabela totalmente qualificado, incluindo o nome do catálogo na mensagem de exceção quando a tabela não for encontrada"
  • SPARK-53558 Mostrar o nome da tabela totalmente qualificado, incluindo o nome do catálogo na mensagem de exceção quando a tabela não for encontrada
  • SPARK-53357 Atualização pandas para 2.3.2
  • SPARK-52659Mensagem de erro de módulo enganosa no modo ANSI
  • SPARK-53592 Reverter "[SC-206971][python] Adicionar suporte para UDFs vetorizadas em @udf"
  • SPARK-53592 Implementar suporte para UDF vetorizado
  • SPARK-52601 Suporte a tipos primitivos no TransformingEncoder
  • SPARK-53355 corrigir numpy 1.x repr em testes de tipo
  • SPARK-53387 Adicionar suporte para Arrow UDTFs com PARTITION BY
  • SPARK-52991 Implementar MERGE INTO com SCHEMA EVOLUTION para Fonte de Dados V2
  • SPARK-53568 Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • Spark-43579 otimização: armazenar em cache para reutilização o conversor entre Arrow e pandas
  • SPARK-53524 Corrigir conversão de valor temporal em LiteralValueProtoConverter
  • SPARK-53600SessionHolder Revisar a última mensagem de log de tempo de acesso
  • SPARK-53529 Corrigir pyspark o cliente de conexão para dar suporte ao IPv6
  • SPARK-53537 Adicionando suporte para a análise do MANIPULADOR CONTINUE
  • SPARK-53623 aprimora o desempenho de leitura de propriedades de grandes tabelas
  • SPARK-53523 Parâmetros nomeados respeitam spark.sql.caseSensitive
  • SPARK-53449 Opções simplificadas para classes relacionadas ao Scan de Fonte de Dados embutido
  • SPARK-53620 O SparkSubmit deve imprimir o stacktrace quando exitFn for chamado
  • SPARK-53518 Nenhum truncamento para catalogString do tipo definido pelo usuário
  • SPARK-53568 Reverter "[SC-206538][conectar][PYTHON] Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect"
  • SPARK-53602 Melhoria na exportação de perfil e correção na documentação do perfilador
  • SPARK-53402 Suporte à API do conjunto de dados de particionamento de passagem direta no Spark Connect no Scala
  • SPARK-53491 Corrigir a formatação exponencial de inputRowsPerSecond e processedRowsPerSecond em métricas de progresso JSON
  • SPARK-53413 Limpeza de shuffle para comandos
  • SPARK-53518 Reverter "[SC-205989][sql] Sem truncamento para catalogString do tipo definido pelo usuário"
  • SPARK-53568 Corrigir vários bugs pequenos na lógica de tratamento de erros do cliente Python do Spark Connect
  • SPARK-53552 Otimizar a função SQL do substr
  • SPARK-53527 Melhorar o fallback de analyzeExistenceDefaultValue
  • SPARK-53584 Aprimorar a validação de process_column_param e o docstring do parâmetro de coluna
  • SPARK-53498 Referenciar corretamente pyspark/pipelines/cli.py de spark-pipelines binário
  • SPARK-53518 Nenhum truncamento para catalogString do tipo definido pelo usuário
  • SPARK-53233 Tornar o código relacionado a streaming usar o nome do pacote correto
  • SPARK-53598 Verificar a existência de numParts antes de ler a propriedade de tabela extensa
  • SPARK-53372 Pacote de testes de ponta a ponta do SDP
  • SPARK-53563 Otimizar: sql_processor evitando concatenação de cadeia de caracteres ineficiente
  • SPARK-53323 Habilitar testes do Spark Connect para df.asTable() no UDTF do Apache Arrow
  • SPARK-53157 Desacoplar intervalos de consulta de driver e executor
  • SPARK-53555 Correção de problema em que o SparkML-connect não pode carregar o modelo de SparkML (modo legado)
  • SPARK-53361 Otimizando a comunicação JVM–Python no TWS agrupando várias chaves em um lote Arrow
  • SPARK-53233 Reverta "[SC-203716][sql][SS][mllib][CONNECT] Faça o código relacionado ao streaming uso do nome do pacote correto"
  • SPARK-53233 Tornar o código relacionado a streaming usar o nome do pacote correto
  • SPARK-53525 Agrupamento de resultados do Spark Connect ArrowBatch
  • SPARK-53444 Reverter "[SC-206536][sql] Reformular execução imediata"
  • SPARK-53594 Fazer com que o UDF de seta respeite o tipo de avaliação especificado pelo usuário
  • SPARK-53444 Retrabalho é executado imediatamente
  • SPARK-53582 Estender isExtractable para que possa ser aplicado em UnresolvedExtractValue
  • SPARK-53572 Evite gerar de ExtractValue.isExtractable
  • SPARK-52346 Corrigir a inicialização do contador e a lógica de incremento para novas tentativas de fluxo
  • SPARK-53561 Capturar a exceção de interrupção em TransformWithStateInPySparkStateServer durante a execução de outputStream.flush para evitar a falha do processo
  • SPARK-53512 Melhor unificação do DSv2 PushDownUtils
  • SPARK-53459 Usar ReadOnlySparkConf em mais lugares
  • SPARK-53549 Sempre feche o alocador de seta quando o processo de solicitação de estado de lista for concluído
  • SPARK-53332 Habilitar StateDataSource com ponto de verificação de estado v2 (somente a opção snapshotStartBatchId)
  • SPARK-53550 O particionamento de saída da união deve comparar atributos canônicos
  • SPARK-53506 Não permitir % entre Decimal e float em ANSI
  • SPARK-52238 Renomear o campo "definições" na Especificação de Pipeline para 'bibliotecas'
  • SPARK-53538ExpandExec deve inicializar as projeções não seguras
  • SPARK-53521 Refatorar expressão Star
  • SPARK-53358 Melhorar a mensagem de erro de incompatibilidade de tipo de saída Python UDTF do Arrow
  • SPARK-53531 Melhor mensagem de erro para HadoopRDD.getInputFormat
  • SPARK-53434 O método get do ColumnarRow também deve verificar isNullAt
  • SPARK-53008 Adicionar validação de rotina de acesso a dados UDF do SQL do OSS
  • SPARK-44856 Melhorar o desempenho do serializador de seta UDTF do Python
  • SPARK-53488 Atualizar CollationTypeCoercion para ser compatível com a lógica do Analisador de passagem única
  • SPARK-53029 Dar suporte à coerção de tipo de retorno para UDTFs do Python do Arrow
  • SPARK-53479 Harmonizar o comportamento com o pandas ao comparar com elemento escalar em ANSI
  • SPARK-53497 Não permitir /|//|* entre Decimal e float em ANSI
  • SPARK-53441 Bools |/&/^ Nenhum deve falhar sob o ANSI
  • SPARK-53474 Adicionar para configuração DATA_SOURCE_V2_EXPR_FOLDING
  • SPARK-53333 Habilitar StateDataSource com ponto de verificação de estado v2 (somente readChangeFeed)
  • SPARK-53502 Melhorar a nomenclatura de métodos em LiteralValueProtoConverter
  • SPARK-52694 Adicionar o.a.s.sql.Encoders#udtAPI
  • SPARK-53499 from_arrow_type deve respeitar containsNull em ArrayType
  • SPARK-53515 Remover não utilizado private lazy val de SchemaOfCsv/Xml
  • SPARK-53480 Refatorar o código do executor Python de Arrow
  • SPARK-53481 Criar classe de fila híbrida
  • SPARK-53401 Habilitar o particionamento de passagem direta na API DataFrame
  • SPARK-52930 Usar DataType.Array/Map para Literais de Matriz/Mapa
  • SPARK-52346 Propagar colunas de partição do destino para o BatchTableWrite
  • SPARK-53342 Corrigir o conversor Arrow para processar vários lotes de registro em um único fluxo de IPC
  • SPARK-53421 Propagar o ID do Plano Lógico na Análise de SDP
  • SPARK-53408 Remover funções não utilizados de QueryCompilationErrors
  • SPARK-53044 Alterar a convenção de alias de importação de Pipelines Declarativos de "sdp" para "dp"
  • SPARK-53450 Os nulos são preenchidos inesperadamente após a conversão de uma consulta à tabela Hive em uma relação lógica
  • SPARK-53290 Corrigir quebra de compatibilidade com versões anteriores de metadados
  • SPARK-52982 Desativar junção lateral com UDTFs do Python da Arrow
  • SPARK-52851 Remover APIs públicas para fluxos de adição única
  • SPARK-52511 Suporte ao modo de execução seca no comando spark-pipelines
  • SPARK-53290 Reverter "[SC-204277][sql][CONNECT] Corrigir problema de compatibilidade reversa de metadados"
  • SPARK-53290 Corrigir quebra de compatibilidade com versões anteriores de metadados
  • SPARK-52577 Adicionar testes para Declarative Pipelines DatasetManager com o catálogo do Hive
  • SPARK-53012 Suporte ao Arrow Python UDTF no Spark Connect
  • SPARK-53251 Habilitar o teste de API do DataFrame com asTable() para UDTFs do Python Arrow
  • SPARK-52432 Definir escopo de DataflowGraphRegistry para Sessão
  • SPARK-52853 Impedir métodos PySpark imperativos em pipelines declarativos
  • Garanta que uma das e schema na interface de tabela seja implementada e prefira columns.
  • SPARK-52991 Reverter "[SC-204944][sql] Implementar MERGE INTO com SCHEMA EVOLUTION para fonte de dados V2"
  • SPARK-52981 Adicionar suporte a argumentos de tabela para UDTFs do Python com Arrow
  • SPARK-53487 Aprimorar comentários em NormalizePlan.scala
  • SPARK-52991 Implementar MERGE INTO com SCHEMA EVOLUTION para Fonte de Dados V2
  • SPARK-52281 Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar a ordenação padrão se o tipo de dados original for uma instância de StringType
  • SPARK-52759 Gerar exceção se o pipeline não tiver tabelas ou exibições persistentes
  • SPARK-51575 Combinar pushdown da Fonte de Dados do Python e planejar trabalhos de leitura
  • SPARK-53359 Corrigir o UDTF de Arrow para lidar com os resultados como iterador
  • SPARK-52757 Renomear o campo "plan" no DefineFlow como "relation"
  • SPARK-52431 Toques finais no runner do Declarative Pipelines
  • SPARK-52591 Validar a característica de streaming dos DFs retornados pela tabela SDP e definições de fluxo independente
  • SPARK-53030 Suporte para gravador Arrow em streaming de fontes de dados Python
  • SPARK-52980 Suporte a UDTFs Python do Arrow
  • SPARK-42841Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2005
  • SPARK-52423 Adicionar o nome do pacote golang ausente ao pipelines.proto
  • SPARK-52409 Usar somente PipelineRunEventBuffer em testes
  • SPARK-52533 Suporte para habilitar somente o gerador de perfil de driver
  • SPARK-52716 Remover comentários da característica e das referências do Flow
  • SPARK-52348 Adicionar suporte para manipuladores do Spark Connect para comandos de pipeline
  • SPARK-52281 Reverter "[SC-198058][sql] Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar a ordenação padrão se o tipo de dados original for uma instância de StringType"
  • SPARK-49386 Adicionar limites baseados em memória para derramamento de embaralhamento
  • SPARK-52281 Alterar ALTER TABLE ALTER COLUMN TYPE STRING para não aplicar a ordenação padrão se o tipo de dados original for uma instância de StringType
  • SPARK-53329 Melhorar o tratamento de exceções ao adicionar artefatos
  • SPARK-52772 Restaurar "[SC-202707][engrm-327][SQL] Tratamento inconsistente de atributos de tabela durante as atualizações"
  • SPARK-52772 Tratamento inconsistente de atributo de tabela durante atualizações
  • SPARK-51739 Validar o esquema Arrow do mapInArrow & mapInPandas & DataSource
  • Spark-53355 testa o comportamento do tipo udf do Python
  • SPARK-53443 Atualizar o Python para SPDX-license
  • SPARK-49968 A função de divisão produz resultados incorretos com um regex vazio e um limite
  • SPARK-52582 Melhorar o uso de memória do analisador XML
  • SPARK-53452from_arrow_type deve respeitar valueContainsNull
  • SPARK-53103 Reverter "[SC-204946][ss] Lançar um erro se o diretório de estado não estiver vazio quando a consulta é iniciada"
  • SPARK-53103 Gerar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada
  • SPARK-51575 Reverter "[SC-192406][python] Combinar pushdown da fonte de dados do Python e planejar trabalhos de leitura"
  • SPARK-51575 Combinar pushdown da Fonte de Dados do Python e planejar trabalhos de leitura
  • SPARK-53095 Suporte ao HMS v4.1
  • SPARK-53126 Refatorar SparkErrorUtils#stackTraceToString para manipular null a entrada e usá-la para substituir ExceptionUtils#getStackTrace
  • SPARK-49489 Cliente HMS respeita hive.thrift.client.maxmessage.size
  • SPARK-53108 Implementar a função time_diff no Scala
  • SPARK-45265 Suporte ao metastore do Hive 4.0
  • SPARK-53255 Banir org.apache.parquet.Preconditions
  • SPARK-52142 Exibir restrições de tabela no SHOW CREATE TABLE COMMAND
  • SPARK-52875 Simplificar a tradução da expressão V2 se a entrada for independente de contexto e dobrável
  • SPARK-53240 Bloquear com.google.common.collect.(ArrayList)?Multimap
  • SPARK-52875 Reverter "[SC-201880][sql] Simplificar a tradução de expressão V2 se a entrada for dobrável independentemente do contexto"
  • SPARK-52141 Exibir restrições em comandos DESC
  • SPARK-53386 Suporte ao parâmetro de consulta que termina com ponto-e-vírgula em conectores JDBC
  • SPARK-52875 Simplificar a tradução da expressão V2 se a entrada for independente de contexto e dobrável
  • SPARK-53437 InterpretedUnsafeProjection deve aplicar a função setNull4Bytes no campo YearMonthIntervalType.
  • SPARK-53341 Expandir a cobertura de teste padrão sobre DECLARE multivariável
  • SPARK-53156 Acompanhar as métricas de memória do driver quando o aplicativo terminar
  • SPARK-52689 Enviar métricas DML para V2Write
  • SPARK-52641 As colunas de chave primária não devem ser anuláveis
  • SPARK-48547 Adicione o sinalizador de aceitação para que o SparkSubmit chame automaticamente System.exit depois que o método principal do código do usuário for encerrado
  • SPARK-52575 Introduzir o atributo contextIndependentFoldable para Expressões
  • SPARK-52860 Suporte à evolução do esquema de gravação V2 no InMemoryTable
  • SPARK-53435 Corrigir a condição de corrida no CachedRDDBuilder
  • SPARK-51987 Expressões DSv2 em padrões de coluna durante a gravação
  • SPARK-52235 Adicionar conversão implícita para as expressões DefaultValue V2 transferidas para o DSV2
  • SPARK-52236 Padronizar as exceções de análise para o valor padrão
  • SPARK-53294 Habilitar StateDataSource com ponto de verificação de estado v2 (somente opção batchId)
  • SPARK-52095 Alterar tabela alterar coluna para passar V2Expression para DSV2
  • SPARK-53415 Simplifique as opções para formatos de arquivo embutidos
  • SPARK-53318 Suporte ao tipo de tempo com make_timestamp_ltz()
  • SPARK-53143 Corrigir a auto junção na API do DataFrame – a junção não é a única saída esperada pelo analisador
  • SPARK-53423 Transferir todas as etiquetas relacionadas ao resolvedor de passagem única para ResolverTag
  • SPARK-52116 Melhorar a exceção para valores padrão não determinísticos
  • SPARK-51906 Expressões Dsv2 em alterar tabela adicionar colunas
  • SPARK-53403 Melhorar os testes de adição/subtração em ANSI
  • SPARK-53418 Suporte TimeType em ColumnAccessor
  • SPARK-52777 Habilitar a configuração do modo de limpeza de shuffle no Spark SQL
  • SPARK-52485 Limpeza de código de Pipelines Declarativos
  • SPARK-53236 Usar construtores Java ArrayList em vez de Lists.newArrayList no código Java
  • SPARK-53392 Mover a manipulação de SpecializedArray para connect-common
  • SPARK-53176 O inicializador do Spark deve respeitar --load-spark-defaults
  • SPARK-53237 Utilizar Java Base64 em vez de org.apache.commons.codec.binary.Base64 instância
  • SPARK-53390 Levantar erro quando valores booleanos com None forem convertidos para inteiros sob ANSI
  • SPARK-53109 Suporte para TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz em Scala
  • SPARK-53393 Desabilitar o profiler de memória para UDFs do iterador escalar Arrow
  • SPARK-53367 adiciona int à coerção decimal para UDFs de seta
  • SPARK-53365 Unificar o código para persistência de configurações em exibições e UDFs
  • SPARK-53228 Usar construtores Java Map em vez de Maps.new*HashMap()
  • SPARK-53197 Usar java.util.Objects#requireNonNull em vez de com.google.common.base.Preconditions#checkNotNull
  • SPARK-53216 Mover is*(Blank|Empty) de object SparkStringUtils para trait SparkStringUtils
  • SPARK-53385 Avaliação do Identificador de Refatoração
  • SPARK-53384 Refatorar a resolução de variável
  • SPARK-53195 Usar Java InputStream.readNBytes em vez de ByteStreams.read
  • SPARK-53205 Suporte createParentDirs em SparkFileUtils
  • SPARK-53196 Usar Java OutputStream.nullOutputStream em vez de ByteStreams.nullOutputStream
  • SPARK-53381 Evitar a criação de coleções temporárias em toCatalystStruct
  • SPARK-53275 Lidar com expressões com estado ao ordenar em modo interpretado
  • SPARK-51585 O dialeto Oracle dá suporte a funções de datetime pushdown
  • SPARK-53200 Usar Java Files.newInputStream em vez de Files.asByteSource().openStream()
  • SPARK-53190 Usar Java InputStream.transferTo em vez de ByteStreams.copy
  • SPARK-53188 Suporte em readFully, SparkStreamUtils e JavaUtils
  • SPARK-53354 Simplificar LiteralValueProtoConverter.toCatalystStruct
  • SPARK-52873 Restringir de forma mais específica quando o semi/anti join do SHJ puder ignorar chaves duplicadas no build side
  • SPARK-53180 Usar Java InputStream.skipNBytes em vez de ByteStreams.skipFully
  • SPARK-53369 Corrigir mensagem de erro para UDFs com CHAR/VARCHAR tipo de retorno
  • SPARK-53330 Correção de UDF do Arrow com DayTimeIntervalType (limites != início/fim)
  • SPARK-53366 Aplicar regras de formatação a sql/connect/shims
  • SPARK-53348 Sempre persista o valor ANSI ao criar um modo de exibição ou pressupõe-o ao consultar se não estiver armazenado
  • SPARK-53119 Suporte touch em SparkFileUtils
  • SPARK-52592 Suporte à criação de um ps. Série de um ps. Série
  • SPARK-53360 Assim que a estratégia com a idempotência de ConstantFolding não deve ser violada
  • SPARK-53135 Suporte copyURLToFile em SparkFileUtils e JavaUtils
  • SPARK-53150 Melhorar list(File|Path)s para lidar com entradas inexistentes, não diretórios e links simbólicos
  • SPARK-53135 Reverter o suporte de "[SC-203164][core][SQL] em copyURLToFile e SparkFileUtils"
  • SPARK-53137 Suporte forceDeleteOnExit em SparkFileUtils e JavaUtils
  • SPARK-53352 Refinar a mensagem de erro para o tipo de retorno não suportado
  • SPARK-53353 Falha do Iterador Escalar Arrow UDF com 0-arg
  • SPARK-53135 Suporte copyURLToFile em SparkFileUtils e JavaUtils
  • SPARK-53101 Suporte (left|right)Pad em SparkStringUtils
  • SPARK-53117 Suporte moveDirectory em SparkFileUtils e JavaUtils
  • SPARK-53121 Usar deleteRecursively em vez de FileUtils.forceDelete
  • SPARK-53100 Usar Java String.substring em vez de StringUtils.substring
  • SPARK-53092 Proibição org.apache.commons.lang3.SystemUtils
  • SPARK-53328 Melhorar a capacidade de depuração para o SparkML-connect
  • SPARK-52065 Produzir outra árvore de plano com colunas de saída (nome, tipo de dados, nulidade) no log de alterações de plano
  • SPARK-51182 DataFrameWriter deve gerar dataPathNotSpecifiedError quando o caminho não for especificado
  • SPARK-52410 Preterir PipelineConf e usar SqlConf diretamente
  • SPARK-52852 Remover entradas spark_conf não utilizadas no create_streaming_table
  • SPARK-52714 Remover o arg de comentário não utilizado no decorador de append_flow
  • SPARK-52663 Introduzir o campo de nome à especificação de pipeline
  • SPARK-53091 Banir org.apache.commons.lang3.Strings
  • SPARK-52393 Registro de elemento do Graph do SQL do Pipeline
  • SPARK-52912 Melhorar SparkStringUtils para suportar is(Not)?(Blank|Empty)
  • SPARK-53307 Remover o erro RetriesExceeded dos clientes Python e Scala do Spark Connect
  • SPARK-52346 Execução declarativa do Pipeline DataflowGraph e registro em log de eventos
  • SPARK-52877 Melhorar o desempenho do serializador de seta de UDF do Python
  • SPARK-51920 Corrigir tipo composto/aninhado no estado de valor do Python TWS
  • SPARK-52741 O modo RemoveFiles ShuffleCleanup não funciona com execução não adaptável
  • SPARK-52238 Cliente Python para Pipelines Declarativos
  • SPARK-51926 Adicionar INVALID_CONF_VALUE.subXXX como classe de erro para erros de configuração
  • SPARK-53155 A agregação inferior global não deve ser substituída por um projeto
  • SPARK-52911 Remover StringUtils.(split|chop) o uso
  • SPARK-51926 Reverter "[SC-195096][core][SQL] Adicionar classe de erro INVALID_CONF_VALUE.subXXX a erros de configuração"
  • SPARK-53346 Evite criar coleções temporárias em toCatalystArray/toCatalystMap
  • SPARK-51926 Adicionar INVALID_CONF_VALUE.subXXX como classe de erro para erros de configuração
  • SPARK-53136 tryWithResource &tryInitializeResource deve fechar o recurso silenciosamente
  • SPARK-53132 Suporte list(File|Path)s em SparkFileUtils e JavaUtils
  • SPARK-51896 Adicionar suporte de Enum java para TypedConfigBuilder
  • SPARK-53311 Fazer PullOutNonDeterministic usar expressões canônicas
  • SPARK-51527 Tornar configurável o nível de log codegen via SQLConf
  • SPARK-52223 Adicionar protomensagens do SDP Spark Connect
  • SPARK-52283 Criação e resolução de Pipelines Declarativos DataflowGraph
  • SPARK-52880 Melhorar toString em JEP-280 vez de ToStringBuilder
  • SPARK-53284 Ajustar importações de configuração do Spark em testes
  • SPARK-53050 Habilitar MultiIndex.to_series() para retornar struct para cada entrada
  • SPARK-52988 Consertar condições de corrida em CREATE TABLE e FUNÇÃO quando IF NOT EXISTS for usado
  • SPARK-52874 Suporte ao o.a.s.util.Pair registro Java
  • SPARK-52710DESCRIBE SCHEMA deve imprimir ordenação
  • SPARK-49984 Correção supplementJava(Module|IPv6)Options somente para atualizar extraJavaOptions

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira as atualizações de manutenção do Databricks Runtime.

Ambiente do sistema

  • Sistema operacional: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Bibliotecas do Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
annotated-types 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 flecha 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 atributos 24.3.0
comando automático 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
Armazenamento em Blob do Azure 12.23.0 azure-storage-file-datalake 12.17.0 babel 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 preto 24.10.0
bleach 6.2.0 blinker 1.7.0 boto3 1.36.2
botocore 1.36.3 ferramentas de cache 5.5.1 certificado 2025.1.31
cffi 1.17.1 chardet 4.0.0 normalizador de conjunto de caracteres 3.3.2
click 8.1.7 cloudpickle 3.0.0 comm 0.2.1
contourpy 1.3.1 criptografia 43.0.3 ciclista 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 decorador 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 distlib 0.3.9 de docstring para markdown 0.11
em execução 0.8.3 Visão geral de facetas 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 bloqueio de arquivo 3.18.0 fonttools 4.55.3
fqdn 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (autenticação do Google) 2.40.0
google-cloud-core 2.4.3 armazenamento na nuvem do Google 3.1.0 google-crc32c 1.7.1
google-mídia-retomável 2.7.2 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3.7
importlib-metadata 6.6.0 importlib_resources 6.4.0 inflect 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 isoduration 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpointer 3.0.0 jsonschema 4.23.0
Especificações do JSON Schema 2023.7.1 eventos Jupyter 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.3 jupyter_core 5.7.2 Servidor Jupyter 2.14.1
Terminais do servidor Jupyter 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3 kiwisolver 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
Mistune 2.0.4 mlflow-skinny 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions 1.0.0 nbclient 0.8.0 nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 notebook_shim 0.2.3 numpy 2.1.3
oauthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
Convenções Semânticas do OpenTelemetry 0,53b1 substituições 7.4.0 empacotamento 24,2
Pandas 2.2.3 pandocfilters 1.5.0 parso 0.8.4
pathspec 0.10.3 patsy 1.0.1 pexpect 4.8.0
almofada 11.1.0 pip 25.0.1 platformdirs 3.10.0
enredo 5.24.1 Pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit 3.0.43 proto-plus 1.26.1 protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 Pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil 2.9.0.post0
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (servidor LSP para Python) 1.12.0
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 referência 0.30.2 requests 2.32.3
rfc3339-validator 0.1.4 rfc3986-validator (validador de RFC 3986) 0.1.1 rico 13.9.4
corda 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-aprender 1.6.1 scipy 1.15.1
seaborn (biblioteca de visualização em Python) 0.13.2 Send2Trash 1.8.2 Ferramentas de configuração 74.0.0
seis 1.16.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soupsieve 2,5 sqlparse 0.5.3
ssh-import-id 5.11 dados empilhados 0.2.0 starlette 0.46.2
statsmodels (biblioteca para modelos estatísticos em Python) 0.14.4 strictyaml 1.7.3 tenacidade 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tomli 2.0.1 tornado 6.4.2
traitlets 5.14.3 guarda-tipo 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 ujson 5.10.0
atualizações não supervisionadas 0.1 uri-template 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 24.11.1 codificações web 0.5.1
websocket-client (cliente WebSocket) 1.8.0 whatthepatch 1.0.2 wheel 0.45.1
widgetsnbextension 3.6.6 embrulhado 1.17.0 yapf 0.40.2
zipp 3.21.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-03-20.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
flecha 19.0.1 AskPass 1.2.1 afirme isso 0.2.1
backports 1.5.0 base 4.4.2 base64enc 0.1-3
bigD 0.3.0 bit 4.6.0 bit64 4.6.0-1
bitops 1.0-9 blob 1.2.4 ciar 1.3-30
Fabricação de cerveja 1.0-10 brio 1.1.5 vassoura 1.0.7
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
sinal de interpolação 7.0-1 Cellranger 1.1.0 chron 2.3-62
classe 7.3-22 CLI 3.6.5 clipr 0.8.0
relógio 0.7.2 cluster 2.1.6 codetools 0.2-20
espaço de cores 2.1-1 commonmark 1.9.5 compilador 4.4.2
config 0.3.2 conflituoso 1.2.0 cpp11 0.5.2
crayon 1.5.3 credenciais 2.0.2 encurvar 6.4.0
Tabela de Dados 1.17.0 conjuntos de dados 4.4.2 DBI 1.2.3
dbplyr 2.5.0 Descrição 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 hash 0.6.37
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-16 reticências 0.3.2 avaliar 1.0.3
fansi 1.0.6 cores 2.1.2 mapa rápido 1.2.0
fontawesome 0.5.3 forcats 1.0.0 foreach 1.5.2
estrangeiro 0.8 - 86 forge 0.2.0 fs 1.6.5
futuro 1.34.0 future.apply 1.11.3 gargle 1.5.2
genéricos 0.1.4 gert 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.18.0 cola 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.2
Gráficos 4.4.2 grDevices 4.4.2 grade 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
gtable 0.3.6 capacete de segurança 1.4.1 refúgio 2.5.4
mais alto 0.11 hms 1.1.3 ferramentas HTML 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.50 rotulagem 0.4.3
posterior 1.4.1 treliça 0,22-5 lava vulcânica 1.8.1
ciclo de vida 1.0.4 ouça 0.9.1 lubrificado 1.9.4
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matriz 1.6-5 memorização 2.0.1 Métodos 4.4.2
mgcv 1.9-1 mime 0.13 miniUI 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-164 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.3.3 paralelo 4.4.2
parallelly 1.42.0 coluna 1.11.0 pkgbuild 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 progresso 1.2.3
progressr 0.15.1 Promessas 1.3.2 proto 1.0.0
proxy 0.4-27 P.S. 1.9.0 purrr 1.0.4
R6 2.6.1 ragg 1.3.3 randomForest 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 capaz de reagir 0.4.4
reactR 0.6.1 Readr 2.1.5 readxl 1.4.5
Receitas 1.2.0 jogo de revanche 2.0.0 revanche2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.6 rmarkdown 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-15 RSQLite 2.3.9 rstudioapi 0.17.1
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
escamas 1.3.0 Seletor 0.4-2 informações de sessão 1.2.3
forma 1.4.6.1 brilhante 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 sparsevctrs 0.3.1
espacial 7.3-17 splines 4.4.2 sqldf 0.4-11
SQUAREM 2021.1 estatísticas 4.4.2 estatísticas4 4.4.2
stringi 1.8.7 stringr 1.5.1 sobrevivência 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
tcltk 4.4.2 testthat 3.2.3 formatação de texto 1.0.0
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 mudança de horário 0.3.0 data e hora 4041.110
tinytex 0.56 Ferramentas 4.4.2 tzdb 0.5.0
verificador de URL 1.0.1 usethis 3.1.0 utf8 1.2.6
utils 4.4.2 identificador único universal (UUID) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.5
Waldo 0.6.1 whisker 0.4.1 murchar 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 zeallot 0.1.0
zip 2.3.2

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws SDK Java para o ECS da AWS 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.638
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics fluxo 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.5.1
com.fasterxml.jackson.core Anotações do Jackson 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.datatype jackson-module-paranamer 2.18.2
com.fasterxml.jackson.datatype jackson-module-scala_2.13 2.18.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone anotações_propensas_a_erros 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava failureaccess 1.0.2
com.google.guava guava 33.4.0-jre
com.google.guava listenablefuture 9999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger criador de perfil 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics anotação de métricas 4.2.30
io.dropwizard.metrics metrics-core 4.2.30
io.dropwizard.metrics metrics-graphite 4.2.30
io.dropwizard.metrics métricas-verificações de saúde 4.2.30
io.dropwizard.metrics metrics-jetty9 4.2.30
io.dropwizard.metrics metrics-jmx 4.2.30
io.dropwizard.metrics metrics-json (métricas em JSON) 4.2.30
io.dropwizard.metrics metrics-jvm 4.2.30
io.dropwizard.metrics metrics-servlets 4.2.30
io.github.java-diff-utils java-diff-utils 4,15
io.netty Netty-all 4.1.118.Final
io.netty netty-buffer 4.1.118.Final
io.netty netty-codec 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty netty-common 4.1.118.Final
io.netty netty-handler 4.1.118.Final
io.netty netty-handler-proxy 4.1.118.Final
io.netty Netty Resolver 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty Netty Tcnative Classes 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty netty-transport-native-unix-comum 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx coletor 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow arrow-format 18.2.0
org.apache.arrow arrow-memory-core 18.2.0
org.apache.arrow Arrow-Memory-Netty 18.2.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.2.0
org.apache.arrow arrow-vector 18.2.0
org.apache.avro Avro 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Texto Comum 1.13.0
org.apache.curator curator-client 5.7.1
org.apache.curator estrutura do curador 5.7.1
org.apache.curator curador de receitas 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.4.1
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive API de armazenamento do Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.1.1-shaded-protobuf
org.apache.orc formato ORC 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce 2.1.1-shaded-protobuf
org.apache.orc orc-calços 2.1.1
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus anotações de público-alvo 0.13.0
org.apache.zookeeper zelador de zoológico 3.9.3
org.apache.zookeeper guarda de zoológico-juta 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation 9.4.53.v20231009
org.eclipse.jetty jetty-http 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty jetty-plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy 9.4.53.v20231009
org.eclipse.jetty jetty-security 9.4.53.v20231009
org.eclipse.jetty servidor jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty jetty-util 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Jetty Webapp 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket API de WebSocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-common 9.4.53.v20231009
org.eclipse.jetty.websocket servidor WebSocket 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis objenesis 3.3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest compatível com scalatest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
Stax stax-api 1.0.1

Dica

Para ver as notas de release das versões do Databricks Runtime que atingiram o fim do suporte (EoS), confira Notas de release do Databricks Runtime em fim de suporte. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

  • Last updated on