Compartilhar via

Databricks Runtime 15.3 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Notas de versão do Databricks Runtime: versões e compatibilidade.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.3, alimentado pelo Apache Spark 3.5.0.

O Databricks lançou esta versão em junho de 2024.

Novos recursos e melhorias

O PySpark DataSources agora dá suporte à leitura e à gravação do fluxo

O PySpark DataSources, que permite a leitura de fontes de dados personalizadas e a gravação em coletores de dados personalizados, agora dá suporte à leitura e gravação de fluxo. Consulte fontes de dados personalizadas do PySpark.

Desabilitar o mapeamento de colunas com o recurso soltar

Agora você pode usar DROP FEATURE para desabilitar o mapeamento de colunas em tabelas Delta e fazer downgrade do protocolo de tabela. Confira Desabilitar o mapeamento de colunas.

Sintaxe e funções do tipo variante em Visualização Pública

O suporte nativo do Apache Spark para trabalhar com dados semiestruturados como VARIANT tipo agora está disponível no Spark DataFrames e no SQL. Veja Dados de variantes da consulta.

O suporte ao tipo variante para Delta Lake está em Visualização Pública

Agora você pode usar VARIANT para armazenar dados semiestruturados em tabelas apoiadas pelo Delta Lake. Consulte o suporte da variante no Delta Lake.

Suporte para diferentes modos de evolução do esquema em exibições

CREATE VIEW e ALTER VIEW agora permite que você defina um modo de associação de esquema, aprimorando como as exibições lidam com alterações de esquema em objetos subjacentes. Esse recurso permite que as exibições tolerem ou se adaptem às alterações de esquema nos objetos subjacentes. Ele aborda as alterações no esquema de consulta resultantes de modificações em definições de objeto.

Suporte para observe() métodos adicionados ao cliente do Spark Connect Scala

O cliente Do Spark Connect Scala agora dá suporte aos Dataset.observe() métodos. O suporte a esses métodos permite que você defina métricas a serem observadas em Dataset usando os métodos ds.observe("name", metrics...) ou ds.observe(observationObject, metrics...).

Latência de reinicialização de fluxo aprimorada para o Carregador Automático

Esta versão inclui uma alteração que melhora a latência de reinicialização do fluxo para o Carregador Automático. Essa melhoria é implementada tornando o carregamento de estado pelo repositório de estado RocksDB assíncrono. Com essa alteração, você deverá ver uma melhoria nos tempos de início para processos com estados grandes, por exemplo, processos com um grande número de arquivos já processados.

Retornar um DataFrame como um pyarrow.Table

Para dar suporte à gravação de um DataFrame diretamente em um objeto Apache Arrow pyarrow.Table, esta versão inclui a função DataFrame.toArrow(). Para saber mais sobre como usar a Seta no PySpark, consulte Apache Arrow no PySpark.

Melhoria de desempenho para algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções de janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função de agregação. Essa alteração permite que a consulta seja executada mais rapidamente usando a agregação parcial e evitando a sobrecarga de funções de janela em execução. O parâmetro de configuração do Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled controla essa otimização e é definido como true por padrão. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Suporte para a função try_mod adicionada

Esta versão adiciona suporte para a função try_mod() do PySpark. Essa função oferece suporte ao cálculo do resto inteiro, compatível com SQL ANSI, da divisão de dois valores numéricos. Se o argumento divisor for 0, a função try_mod() retornará nulo em vez de gerar uma exceção. Você pode usar a try_mod() função em vez de mod ou %, que gera uma exceção se o argumento divisor for 0 e o SQL ANSI estiver habilitado.

Suporte para um parâmetro de escopo opcional no list_secrets()

Esta versão permite limitar os resultados da função de tabela list_secrets() a um escopo específico.

Correções

WriteIntoDeltaCommand métricas na interface do usuário do Spark agora são exibidas corretamente

Esta versão inclui uma correção nas métricas exibidas na guia SQL da interface do usuário do Spark para o nó Execute WriteIntoDeltaCommand. Anteriormente, as métricas mostradas para esse nó eram todas zero.

A groupby() função na API do Pandas ignorou o as_index=False argumento

Esta versão inclui uma correção para um problema com a groupby() função na API do Pandas no Spark. Antes dessa correção, um groupby() com relabelamento de colunas de agregação e o argumento as_index=False não incluíam chaves de grupo no DataFrame resultante.

Erro de sintaxe com várias funções de janela que referenciam a saída de outras funções

Essa versão corrige um problema que pode ocorrer quando uma consulta Spark tem várias funções de janela consecutivas, em que as funções de janela fazem referência à saída das outras funções de janela. Em casos raros, o sistema pode descartar uma das referências, levando a erros na avaliação da consulta. Isso corrige essas referências para garantir a avaliação da consulta. Essa alteração é controlada pelo parâmetro spark.databricks.optimizer.collapseWindows.projectReferencesde configuração do Spark, que é definido true como por padrão. Para desativar essa alteração, defina spark.databricks.optimizer.collapseWindows.projectReferences como false.

Atualizações de biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.13.1 a 3.13.4
  • Bibliotecas R atualizadas:
  • Bibliotecas Java atualizadas:
    • org.rocksdb.rocksdbjni da versão 8.3.2 para 8.11.4

Apache Spark

O Databricks Runtime 15.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.2 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Reverter "[SC-165552][sql] DB2: Leia SMALLINT como Sho...
  • [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] Reverter SPARK-47904: Preservar caso no esquema Avro ao usar enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Adicionar tipo de dado de origem para expressão de conversão do conector
  • [SPARK-48175] [SC-166341][sql][PYTHON] Armazenar informações de ordenação em metadados e não em tipo para SER/DE
  • [SPARK-48172] [SC-166078][sql] Corrigir problemas de escape em JDBCDialects
  • [SPARK-48186] [SC-165544][sql] Adicionar suporte para AbstractMapType
  • [SPARK-48031] [SC-166523] Exibições herdadas do avô para SCHEMA BINDING
  • [SPARK-48369] [SC-166566][sql][PYTHON][connect] Adicionar função timestamp_add
  • [SPARK-48330] [SC-166458][ss][PYTHON] Corrigir o problema de tempo limite da fonte de dados de streaming do Python para um grande intervalo de gatilho
  • [SPARK-48369] Reverter “[SC-166494][sql][PYTHON][connect] Adicionar função timestamp_add”
  • [SPARK-48336] [SC-166495][ps][CONNECT] Implementar ps.sql no Spark Connect
  • [SPARK-48369] [SC-166494][sql][PYTHON][connect] Adicionar função timestamp_add
  • [SPARK-47354] [SC-165546][sql] Adicionar suporte de ordenação para expressões variantes
  • [SPARK-48161] [SC-165325][sql] Correção de PR revertida – Adicionar suporte de ordenação para expressões JSON
  • [SPARK-48031] [SC-166391] Decompor a configuração viewSchemaMode, adicionar suporte SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][core] Adicionar uma configuração para SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][sql] Melhorar o desempenho de Alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][sql] Manipular letras minúsculas em nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][sql] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][sql] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_323[6-7] e _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][python][CONNECT] As propriedades armazenadas em cache devem retornar cópias
  • [SPARK-48308] [SC-166152][core] Unificar a obtenção de esquema de dados sem colunas de partição no FileSourceStrategy
  • [SPARK-48301] [SC-166143][sql] Renomear CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE para CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][ps][CONNECT] Aplicar o método builtin timestamp_diff
  • [SPARK-47607] [SC-166129] Adicionar documentação para estrutura de log estruturado
  • [SPARK-48297] [SC-166136][sql] Corrigir uma cláusula TRANSFORM de regressão com char/varchar
  • [SPARK-47045] [SC-156808][sql] Substituir IllegalArgumentException por SparkIllegalArgumentException in sql/api
  • [SPARK-46991] [SC-156399][sql] Substituir IllegalArgumentException por SparkIllegalArgumentException in catalyst
  • [SPARK-48031] [SC-165805][sql] Evolução do esquema de exibição de suporte
  • [SPARK-48276] [SC-166116][python][CONNECT] Adicione o método ausente __repr__ para SQLExpression
  • [SPARK-48278] [SC-166071][python][CONNECT] Refinar a representação de cadeia de caracteres de Cast
  • [SPARK-48272] [SC-166069][sql][PYTHON][connect] Adicionar função timestamp_diff
  • [SPARK-47798] [SC-162492][sql] Enriquecer a mensagem de erro para as falhas de leitura de valores decimais
  • [SPARK-47158] [SC-158078][sql] Atribuir o nome adequado e sqlState a _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient pode causar FetchFailedException devido a um NPE (NullPointerException)
  • [SPARK-48277] [SC-166066] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][conectar] Suporte ao conjunto observe de dados para o cliente Scala
  • [SPARK-48954] [SC-171672][sql] Adicionar try_mod função
  • [SPARK-43258] [SC-158151][sql] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][ss] Teste de regressão e2e com SPARK-47305
  • [SPARK-48263] [SC-165925] Suporte à função Collate para cadeias de caracteres não UTF8_BINARY
  • [SPARK-48260] [SC-165883][sql] Desabilitar a coordenação do committer de saída em um teste de ParquetIOSuite
  • [SPARK-47834] [SC-165645][sql][CONNECT] Marcar funções preteridas com @deprecated in SQLImplicits
  • [SPARK-48011] [SC-164061][core] Armazenar nome do LogKey como valor para evitar a geração de novas instâncias de cadeia de caracteres
  • [SPARK-48074] [SC-164647][core] Melhorar a legibilidade dos logs JSON
  • [SPARK-44953] [SC-165866][core] Registre um aviso quando o shuffle tracking estiver ativado juntamente com outro mecanismo suportado pelo DA
  • [SPARK-48266] [SC-165897][conectar] Mover objeto org.apache.spark.sql.connect.dsl do pacote para o diretório de teste
  • [SPARK-47847] [SC-165651][core] Obsoletar spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][core] Limpar o uso de construtores obsoletos de o.rocksdb.Logger
  • Passe o join diretamente em vez de passar todos os argumentos para obterBroadcastBuildSide e obterShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][sql] Não permitir que as chaves do mapa sejam do tipo variante
  • [SPARK-48248] [SC-165791][python] Corrigir matriz aninhada para respeitar a configuração herdada de inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][sql] Adicionar suporte para ordenação para o tipo stringTrim de funções/expressões (para UTF8_BINARY &LCASE)
  • [SPARK-48143] [ES-1095638][sql] Use exceções leves para o fluxo de controle entre UnivocityParser e FailureSafeParser
  • [SPARK-48146] [SC-165668][sql] Corrigir a função de agregação na verificação de filho da expressão 'With'
  • [SPARK-48161] Reverter "[SC-165325][sql] Adicionar suporte de ordenação para expressões JSON"
  • [SPARK-47963] [CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos de log estruturados
  • [SPARK-48180] [SC-165632][sql] Melhorar o erro quando a chamada UDTF com argumento TABLE esquece os parênteses ao redor de múltiplas expressões PARTITION/ORDER BY
  • [SPARK-48002] [SC-164132][python][SS] Adicionar teste para métricas observadas no PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][sql] Adicionar suporte de ordenação para expressões de URL
  • [SPARK-48161] [SC-165325][sql] Adicionar suporte de ordenação para expressões JSON
  • [SPARK-47359] [SC-164328][sql] Suporte à função TRANSLATE para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47365] [SC-165643][python] Adicionar método DataFrame a PySpark
  • [SPARK-48228] [SC-165649][python][CONNECT] Implementar a validação de função ausente em ApplyInXXX
  • [SPARK-47986] [SC-165549][connect][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-47963] Reverter “[CORE] Permitir que o ecossistema externo do Spark utilize mecanismos de log estruturado”
  • [SPARK-47963] [CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos de log estruturados
  • [SPARK-48208] [SC-165547][ss] Ignorar o fornecimento de métricas de uso de memória do RocksDB se o uso limitado de memória estiver habilitado
  • [SPARK-47566] [SC-164314][sql] Suporte à função SubstringIndex para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47589] [SC-162127][sql]Hive-Thriftserver: Migrar logError com variáveis para estrutura de log estruturada
  • [SPARK-48205] [SC-165501][python] Remova o modificador privado[sql] para fontes de dados do Python
  • [SPARK-48173] [SC-165181][sql] CheckAnalysis deve ver todo o plano de consulta
  • [SPARK-48197] [SC-165520][sql] Evite o erro de declaração para a função lambda inválida
  • [SPARK-47318] [SC-162573][core] Adiciona a rodada HKDF à derivação de chave AuthEngine para seguir as práticas padrão kex
  • [SPARK-48184] [SC-165335][python][CONNECT] Sempre defina a semente no lado do cliente Dataframe.sample
  • [SPARK-48128] [SC-165004][sql] Para expressão BitwiseCount/bit_count, corrija o erro de sintaxe de codegen para entradas de tipo booliano
  • [SPARK-48147] [SC-165144][ss][CONNECT] Remover ouvintes do cliente quando a sessão local do Spark é excluída
  • [SPARK-48045] [SC-165299][python] API do Pandas groupby com multi-agg-relabel ignora o parâmetro as_index=False
  • [SPARK-48191] [SC-165323][sql] Suporte a UTF-32 para codificação e decodificação de cadeia de caracteres
  • [SPARK-45352] [SC-137627][sql] Eliminar partições de janela removíveis
  • [SPARK-47297] [SC-165179][sql] Adicionar suporte de ordenação para expressões de formato
  • [SPARK-47267] [SC-165170][sql] Adicionar suporte de ordenação para expressões de hash
  • [SPARK-47965] [SC-163822][core] Evitar o uso de orNull em TypedConfigBuilder e OptionalConfigEntry
  • [SPARK-48166] [SQL] Evite usar BadRecordException como erro voltado para o usuário em VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][ss] Corrigir a condição de concorrência entre o descarregamento do repositório de estado e a criação de snapshots
  • [SPARK-47922] [SC-163997][sql] Implementar a expressão try_parse_json
  • [SPARK-47719] [SC-161909][sql] Alteração spark.sql.legacy.timeParse...
  • [SPARK-48035] [SC-165136][sql] Corrigir try_add/try_multiply terem semântica igual a adicionar/multiplicar
  • [SPARK-48107] [SC-164878][python] Excluir testes da distribuição do Python
  • [SPARK-46894] [SC-164447][python] Mover condições de erro do PySpark para o arquivo JSON autônomo
  • [SPARK-47583] [SC-163825][core] SQL core: Migrar logError com variáveis para a estrutura de log estruturada
  • [SPARK-48064] Reverter "[SC-164697][sql] Atualizar mensagens de erro para classes de erro relacionadas à rotina"
  • [SPARK-48048] [SC-164846][connect][SS] Adicionado suporte ao ouvinte do lado do cliente para Scala
  • [SPARK-48064] [SC-164697][sql] Atualizar mensagens de erro para categorias de erro associadas a rotinas
  • [SPARK-48056] [SC-164715][connect][PYTHON] Executar novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial tiver sido recebida
  • [SPARK-48124] [SC-165009][core] Desabilitar o registro em log estruturado para Connect-Repl por padrão
  • [SPARK-47922] Reverter “[SC-163997][sql] Implementar a expressão try_parse_json”
  • [SPARK-48065] [SC-164817][sql] SPJ: allowJoinKeysSubsetOfPartitionKeys está demasiado restritivo
  • [SPARK-48114] [SC-164956][core] Pré-compilar regex de modelos para evitar trabalho desnecessário
  • [SPARK-48067] [SC-164773][sql] Corrigir colunas padrão variantes
  • [SPARK-47922] [SC-163997][sql] Implementar a expressão try_parse_json
  • [SPARK-48075] [SC-164709] [SS] Adicionar verificação de tipo para funções Avro do PySpark
  • [SPARK-47793] [SC-164324][ss][PYTHON] Implementar SimpleDataSourceStreamReader para fonte de dados de streaming em python
  • [SPARK-48081] [SC-164719] Corrigir ClassCastException em NTile.checkInputDataTypes() quando o argumento não for dobrável ou de tipo errado
  • [SPARK-48102] [SC-164853][ss] Acompanhar a duração para obter métricas de origem/destino ao relatar o progresso da consulta em streaming
  • [SPARK-47671] [SC-164854][core] Habilitar o registro em log estruturado em log4j2.properties.template e atualizar documentos
  • [SPARK-47904] [SC-163409][sql] Preservar caso no esquema Avro ao usar enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType analisa a cadeia de caracteres DDL
  • [SPARK-46922] [SC-156102][core][SQL] Não encapsular erros voltados para o usuário do runtime
  • [SPARK-48047] [SC-164576][sql] Reduzir a pressão de memória das tags vazias do TreeNode
  • [SPARK-47934] [SC-164648] [CORE] Garantir barras finais em HistoryServer redirecionamentos de URL
  • [SPARK-47921] [SC-163826][connect] Correção da criação de ExecuteJobTag no ExecuteHolder
  • [SPARK-48014] [SC-164150][sql] Altere o erro makeFromJava em EvaluatePython para um erro voltado para o usuário
  • [SPARK-47903] [SC-163424][python] Adicione suporte para tipos escalares restantes na biblioteca PySpark Variant
  • [SPARK-48068] [SC-164579][python] mypy deve ter --python-executable parâmetro
  • [SPARK-47846] [SC-163074][sql] Adicionar suporte para o tipo Variant na expressão from_json
  • [SPARK-48050] [SC-164322][ss] Registrar plano lógico ao início da consulta
  • [SPARK-47810] [SC-163076][sql] Substituir expressão equivalente a <=> em condição de junção
  • [SPARK-47741] [SC-164290] Adição de tratamento de estouro de pilha no analisador
  • [SPARK-48053] [SC-164309][python][CONNECT] SparkSession.createDataFrame deve avisar para opções sem suporte
  • [SPARK-47939] [SC-164171][sql] Implementar uma nova regra do Analisador para mover ParameterizedQuery dentro de ExplainCommand e DescribeQueryCommand
  • [SPARK-48063] [SC-164432][core] Habilitar spark.stage.ignoreDecommissionFetchFailure por padrão
  • [SPARK-48016] [SC-164280][sql] Corrigir um bug na função try_divide quando tiver decimais
  • [SPARK-48033] [SC-164291][sql] Corrigir RuntimeReplaceable expressões que estão sendo usadas em colunas padrão
  • [SPARK-48010] [SC-164051][sql][ES-1109148] Evite chamadas repetidas para conf.resolver em resolveExpression
  • [SPARK-48003] [SC-164323][sql] Adicionar suporte de ordenação para agregação de esboço hll
  • [SPARK-47994] [SC-164175][sql] Corrigir bug com a redução de filtro de coluna CASE WHEN no SQLServer
  • [SPARK-47984] [SC-163837][ml][SQL] Mudar MetricsAggregate/V2Aggregator#serialize/deserialize para chamar SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][sql] Use um formatador de timestamp com fuso horário no nível da classe em vez de criar cópias no nível do método
  • [SPARK-47596] [SPARK-47600][spark-47604][SPARK-47804] Migrações de log estruturadas
  • [SPARK-47594] [SPARK-47590][spark-47588][SPARK-47584] Migrações de log estruturadas
  • [SPARK-47567] [SC-164172][sql] Suporte à função LOCATE para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47764] [SC-163820][core][SQL] Limpeza de dependências de shuffle com base no ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][python][CONNECT] Atualize a classe de erro para group.apply
  • [SPARK-47414] [SC-163831][sql] Suporte à ordenação minúscula para expressões regexp
  • [SPARK-47418] [SC-163818][sql] Adicionar implementações feitas à mão para o unicode-aware minúsculo contém, iniciaWith e endsWith e otimiza UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][sql] Catalisador de SQL: eliminar variáveis sem nome em logs de erros
  • [SPARK-47351] [SC-164008][sql] Adicionar suporte de ordenação para expressões de cadeia de caracteres StringToMap &Mask
  • [SPARK-47292] [SC-164151][ss] safeMapToJValue deve levar em consideração valores com tipo nulo
  • [SPARK-47476] [SC-164014][sql] Função REPLACE de suporte para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47408] [SC-164104][sql] Corrigir mathExpressions que usam StringType
  • [SPARK-47350] [SC-164006][sql] Adicionar suporte de ordenação para expressão de cadeia de caracteres SplitPart
  • [SPARK-47692] [SC-163819][sql] Corrigir o significado padrão do StringType na conversão implícita
  • [SPARK-47094] [SC-161957][sql] SPJ: reequilibrar dinamicamente o número de buckets quando eles não forem iguais
  • [SPARK-48001] [SC-164000][core] Remove unused private implicit def arrayToArrayWritable from SparkContext
  • [SPARK-47986] [SC-163999][connect][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-48019] [SC-164121] Corrigir comportamento incorreto em ColumnVector/ColumnarArray com dicionário e nulos
  • [SPARK-47743] [SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] Migrações estruturadas de log
  • [SPARK-47999] [SC-163998][ss] Melhorar o log em torno da criação de instantâneos e adicionar/remover entradas do mapa de cache de estado no fornecedor de armazenamento de estado suportado pelo HDFS.
  • [SPARK-47417] [SC-162872][sql] Suporte à ordenação: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][conectar] Permitir que os plug-ins de conexão criem e processem conjuntos de dados
  • [SPARK-47411] [SC-163351][sql] Suporte a funções StringInstr &FindInSet para trabalhar com cadeias de caracteres agrupadas
  • [SPARK-47360] [SC-163014][sql] Suporte à ordenação: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][sql] – adicione suporte a substr/left/right para ordenações
  • [SPARK-47983] [SC-163835][sql] Rebaixar spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled para interno
  • [SPARK-47964] [SC-163816][python][CONNECT] Ocultar SQLContext e HiveContext no pyspark-connect
  • [SPARK-47985] [SC-163841][python] Simplificar funções com lit
  • [SPARK-47633] [SC-163453][sql] Incluir saída de plano do LateralJoin#allAttributes lado direito para uma canonização mais consistente
  • [SPARK-47909] Reverter "[PYTHON][conectar] Classe DataFrame pai f...
  • [SPARK-47767] [SC-163096][sql] Mostrar valor do offset em TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][sql] Proibir expressões de hash de realizar hash no tipo de dados Variant
  • [SPARK-47490] [SC-160494][ss] Corrigir o uso do construtor do Logger RocksDB para evitar aviso de descontinuação
  • [SPARK-47417] Reverter “[SC-162872][sql] Suporte à ordenação: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences”
  • [SPARK-47352] [SC-163460][sql] Corrigir reconhecimento de sensibilidade de ordenação nas funções Upper, Lower, InitCap
  • [SPARK-47909] [PYTHON][connect] Classe DataFrame pai para Spark Connect e Spark Classic
  • [SPARK-47417] [SC-162872][sql] Suporte à ordenação: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Consulte as atualizações de manutenção do Databricks Runtime 15.3.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas do Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
Armazenamento em Blob do Azure 12.19.1 azure-storage-file-datalake 12.14.0 retorno de chamada 0.2.0
preto 23.3.0 antolho 1.4 boto3 1.34.39
botocore 1.34.39 ferramentas de cache 5.3.3 certificação 2023.7.22
cffi 1.15.1 chardet 4.0.0 normalizador de conjunto de caracteres 2.0.4
clique 8.0.4 cloudpickle 2.2.1 Comunicação 0.1.2
contorno 1.0.5 criptografia 41.0.3 ciclista 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 distlib 0.3.8
pontos de entrada 0,4 em execução 0.8.3 Visão geral de facetas 1.1.1
bloqueio de arquivo 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 Google-autenticação 2.29.0
google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.16.0 google-crc32c 1.5.0
google-mídia-retomável 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 IDNA 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets (biblioteca Python para widgets interativos) 7.7.2
isodate 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empacotamento 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Almofada 9.4.0 semente 23.2.1 platformdirs 3.10.0
enredo 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 Pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
Pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
Solicitações 2.31.0 RSA 4.9 s3transfer 0.10.1
scikit-aprender 1.3.0 scipy 1.11.1 seaborn (biblioteca de visualização em Python) 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 seis 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
dados empilhados 0.2.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.14.0 tenacidade 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 atualizações não supervisionadas 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Gerenciador de Pacotes Posit.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
flecha 14.0.0.2 AskPass 1.2.0 afirme isso 0.2.1
retrocompatibilidades (backports) 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 ciar 1.3-28
Fabricação de cerveja 1.0-10 Brio 1.1.4 vassoura 1.0.5
bslib 0.6.1 cachem 1.0.8 chamador 3.7.3
cifrão 6.0-94 cellranger 1.1.0 crônica 2.3-61
classe 7.3-22 CLI 3.6.2 clipr 0.8.0
relógio 0.7.0 cluster 2.1.4 codetools 0.2-19
espaço de cores 2.1-0 commonmark 1.9.1 compilador 4.3.2
configuração 0.3.2 conflituoso 1.2.0 cpp11 0.4.7
giz de cera 1.5.2 credenciais 2.0.1 encurvar 5.2.0
Tabela de Dados 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 hash 0.6.34
iluminado de baixo para cima 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 reticências 0.3.2 avaliar 0,23
fansi 1.0.6 cores 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 Further context or clarification is needed to effectively improve the translation. 1.0.0 foreach 1.5.2
estrangeiro 0.8-85 forja 0.2.0 Fs 1.6.3
futuro 1.33.1 future.apply 1.11.1 gargarejar 1.5.2
genéricos 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globais 0.16.2 cola 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Gráficos 4.3.2 grDevices 4.3.2 grade 4.3.2
gridExtra 2.3 gsubfn 0,7 Gt 0.10.1
gtable 0.3.4 capacete de segurança 1.3.1 refúgio 2.5.4
highr 0.10 HMS 1.1.3 ferramentas HTML 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 malhador 1,45 rotulagem 0.4.3
posterior 1.3.2 treliça 0.21-8 lava vulcânica 1.7.3
ciclo de vida 1.0.4 ouça 0.9.1 lubrificado 1.9.3
magrittr 2.0.3 Markdown 1.12 MISSA 7.3-60
Matriz 1.5-4.1 memorizar 2.0.1 Métodos 4.3.2
mgcv 1.8-42 mímica 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelador 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelo 4.3.2
paralelamente 1.36.0 coluna 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogio 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
Prodlim 2023.08.28 profvis 0.3.8 progresso 1.2.3
progressador 0.14.0 Promessas 1.2.1 proto 1.0.0
proxy 0.4-27 P.S. 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 capaz de reagir 0.4.4
reactR 0.5.0 Readr 2.1.5 readxl 1.4.3
Receitas 1.0.9 jogo de revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.4.2.1 reprex 2.1.0 remodelar2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
escamas 1.3.0 Seletor 0.4-2 informações de sessão 1.2.2
forma 1.4.6 brilhante 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 estatísticas 4.3.2
estatísticas4 4.3.2 stringi 1.8.3 stringr 1.5.1
sobrevivência 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
formatação de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 mudança de horário 0.3.0
data e hora 4032.109 tinytex 0,49 Ferramentas 4.3.2
tzdb 0.4.0 verificador de URL 1.0.1 usethis 2.2.2
utf8 1.2.4 utilitários 4.3.2 identificador único universal (UUID) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 bigode 0.4.1
murchar 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 YAML 2.3.8
zeallot 0.1.0 nada 2.3.1

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS) 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect (SDK Java da AWS para conexão direta) 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws SDK Java para o ECS da AWS 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM) 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina) 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support (suporte para AWS Java SDK) 1.12.610
com.amazonaws aws-java-sdk-swf-libraryes 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded (Possible translation depending on context: sombreado kryo) 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de classe 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.datatype jackson-module-paranamer 2.15.2
com.fasterxml.jackson.datatype jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-nativos
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java 1.1-nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-nativos
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Sininho 1.9.0
com.google.errorprone anotações_propensas_a_erros 2.10.0
com.google.flatbuffers flatbuffers-java 26/05/2023
com.google.guava goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp VERSÃO.0.8.0.
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections (coleções comuns) commons-collections (coleções comuns) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics Anotação de Métricas 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas-verificações de saúde 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json (métricas em JSON) 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty Netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty resolvedor de rede 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty Netty Tcnative Classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine conserva 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr modelo de string 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant lançador de formigas 1.10.11
org.apache.arrow formato de seta 15.0.0
org.apache.arrow seta-memória-core 15.0.0
org.apache.arrow Arrow-Memory-Netty 15.0.0
org.apache.arrow vetor de seta 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons Texto Comum 1.10.0
org.apache.curator curador e cliente 2.13.0
org.apache.curator estrutura do curador 2.13.0
org.apache.curator curador de receitas 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.6
org.apache.hive hive-beeline (ferramenta de linha de comando para conectar-se ao Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive API de armazenamento do Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims Agendador de Ajustes do Hive (hive-shims-scheduler) 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus anotações de público 0.13.0
org.apache.zookeeper zelador de zoológico 3.6.3
org.apache.zookeeper guarda de zoológico-juta 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty servidor jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty Webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API de WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client (cliente WebSocket) 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket servidor WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Localizador de Recursos OSGi 1.0.3
org.glassfish.hk2.external AliançaAOP-Reempacotado 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotações 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenésia 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Calços 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on