Compartilhar via

Databricks Runtime 15.3

  • Artigo

As notas da versão a seguir fornecem informações sobre o Databricks Runtime 15.3, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou essa versão em junho de 2024.

Dica

Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Novos recursos e aprimoramentos

O PySpark DataSources já dá suporte à leitura e à gravação do fluxo

O PySpark DataSources, que permite a leitura de fontes de dados personalizadas e a gravação nos coletores de dados personalizados, já dá suporte à leitura e à gravação do fluxo. Veja Fontes de dados personalizadas do PySpark.

Desabilitar o mapeamento de colunas com o recurso soltar

Agora você pode usar DROP FEATURE para desabilitar o mapeamento de colunas em tabelas Delta e fazer downgrade do protocolo da tabela. Confira Desabilitar o mapeamento de colunas.

Sintaxe e funções do tipo variante em Visualização Pública

O suporte nativo do Apache Spark para trabalhar com dados semiestruturados como o tipo VARIANT agora está disponível no DataFrames e no SQL do Spark. Confira Consultar os dados de variantes.

O suporte ao tipo variante para Delta Lake está em Visualização Pública

Agora você pode usar VARIANT para armazenar dados semiestruturados em tabelas respaldadas pelo Delta Lake. Confira Suporte a variantes no Delta Lake.

Suporte a diferentes modos de evolução de esquemas em exibições

CREATE VIEW e ALTER VIEW agora permitem que você defina um modo de vinculação de esquemas, aprimorando a forma como as exibições lidam com alterações de esquemas em objetos subjacentes. Esse recurso permite que as exibições tolerem ou se adaptem às alterações de esquema nos objetos subjacentes. Aborda as alterações no esquema de consulta que resultam de modificações em definições de objeto.

Suporte para métodos observe() adicionados ao cliente Scala do Spark Connect

O cliente Scala do Spark Connect agora dá suporte aos métodos Dataset.observe(). O suporte a esses métodos permite que você defina métricas a serem observadas em um objeto Dataset usando os métodos ds.observe("name", metrics...) ou ds.observe(observationObject, metrics...).

Latência de reinicialização de fluxo reduzida para o Carregador Automático

Essa versão inclui uma alteração que reduz a latência de reinicialização do fluxo para o Carregador Automático. Essa melhoria é implementada ao tornarmos o carregamento de estado pelo repositório de estado do RocksDB assíncrono. Com essa alteração, você deverá ver uma melhoria nos tempos de início para fluxos com estados grandes, como, por exemplo, fluxos com um grande número de arquivos já ingeridos.

Retornar um DataFrame como um pyarrow.Table

Para dar suporte à escrita direta de um DataFrame em um objeto pyarrow.Table do Apache Arrow, essa versão inclui a função DataFrame.toArrow(). Para saber mais sobre como usar o Arrow no PySpark, consulte Apache Arrow no PySpark.

Melhoria de desempenho para algumas funções de janela

Esta versão inclui uma alteração que melhora o desempenho de algumas funções de janela do Spark, especificamente funções que não incluem uma cláusula ORDER BY ou um parâmetro window_frame. Nesses casos, o sistema pode reescrever a consulta para executá-la usando uma função de agregação. Essa alteração permite que a consulta seja executada mais rapidamente usando a agregação parcial e evitando a sobrecarga de funções de janela em execução. O parâmetro de configuração spark.databricks.optimizer.replaceWindowsWithAggregates.enabled do Spark controla essa otimização e é definido como true por padrão. Para desativar essa otimização, defina spark.databricks.optimizer.replaceWindowsWithAggregates.enabled como false.

Suporte para a função try_mod adicionado

Esta versão adiciona suporte para a função try_mod() do PySpark. Essa função dá suporte ao cálculo compatível com SQL ANSI do resto inteiro da divisão de dois valores numéricos. Se o argumento divisor for 0, a função try_mod() retornará nulo em vez de gerar uma exceção. Você pode usar a função try_mod() em vez de mod ou %, que gera uma exceção se o argumento divisor for 0 e o SQL ANSI estiver habilitado.

Suporte para um parâmetro de escopo opcional no list_secrets()

Essa versão permite que você limite os resultados da função de tabela list_secrets() a um escopo específico.

Correções de bug

WriteIntoDeltaCommand métricas na interface do usuário do Spark agora são exibidas corretamente

Essa versão inclui uma correção nas métricas exibidas na guia SQL da interface do usuário do Spark para o nó Execute WriteIntoDeltaCommand. Anteriormente, as métricas mostradas para esse nó eram todas iguais a zero.

A função groupby() na API do Pandas ignorou o argumento as_index=False

Esta versão inclui uma correção para um problema com a função groupby() na API do Pandas no Spark. Antes dessa correção, um groupby() com renomeação de colunas agregadas e o argumento as_index=False não incluíam chaves de grupo no DataFrame resultante.

Erro de análise com várias funções de janela que fazem referência à saída das outras funções

Essa versão corrige um problema que pode ocorrer quando uma consulta Spark tem várias funções de janela consecutivas, em que as funções de janela fazem referência à saída das outras funções de janela. Em casos raros, o sistema pode descartar uma das referências, levando a erros na avaliação da consulta. Isso corrige essas referências para garantir a avaliação da consulta. Essa alteração é controlada pelo parâmetro de configuração spark.databricks.optimizer.collapseWindows.projectReferences do Spark, que é definido como true por padrão. Para desativar essa alteração, defina spark.databricks.optimizer.collapseWindows.projectReferences como false.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.13.1 para 3.13.4
  • Atualização das bibliotecas do R:
  • Bibliotecas do Java atualizadas:
    • org.rocksdb.rocksdbjni de 8.3.2 para 8.11.4

Apache Spark

O Databricks Runtime 15.3 inclui o Apache Spark 3.5.0. Essa versão inclui todas as correções e aprimoramentos do Spark incluídas no Databricks Runtime 15.2, além das seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] Reverter "[SC-165552][SQL] DB2: Ler SMALLINT como Sho...
  • [FAÍSCA-47904] [DBRRM-1040][COMPORTAR-SE-33][SC-163409] Reverter SPARK-47904: Preservar maiúsculas e minúsculas no esquema Avro ao usar enableStableIdentifiersForUnionType
  • [SPARK-48288] [SC-166141] Adicionar o tipo de dados de origem para a expressão de conversão do conector
  • [SPARK-48175] [SC-166341][SQL][PYTHON] Armazenar informações de ordenação em metadados e não em tipo, para SER/DE
  • [SPARK-48172] [SC-166078][SQL] Corrigir problemas de escape em JDBCDialects
  • [SPARK-48186] [SC-165544][SQL] Adicionar suporte para AbstractMapType
  • [SPARK-48031] [SC-166523] Transferir exibições herdadas para o SCHEMA BINDING
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] Adicionar a função timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] Corrigir o problema de tempo limite da fonte de dados de streaming do Python para um intervalo de gatilho grande
  • [SPARK-48369] Reverter "[SC-166494][SQL][PYTHON][CONNECT] Adicionar a função timestamp_add"
  • [SPARK-48336] [SC-166495][PS][CONNECT] Implementar ps.sql no Spark Connect
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] Adicionar a função timestamp_add
  • [SPARK-47354] [SC-165546][SQL] Adicionar suporte à ordenação para expressões de variantes
  • [SPARK-48161] [SC-165325][SQL] Correção de PR revertida — adicionar suporte à ordenação para expressões JSON
  • [SPARK-48031] [SC-166391] Decompor a configuração viewSchemaMode, adicionar suporte a SHOW CREATE TABLE
  • [SPARK-48268] [SC-166217][CORE] Adicionar uma configuração para SparkContext.setCheckpointDir
  • [SPARK-48312] [ES-1076198][SQL] Aprimorar o desempenho de Alias.removeNonInheritableMetadata
  • [SPARK-48294] [SC-166205][SQL] Gerenciar as letras minúsculas em nestedTypeMissingElementTypeError
  • [SPARK-47254] [SC-158847][SQL] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] Atribuir nomes às classes de erro _LEGACY_ERROR_TEMP_323[6-7] e _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] As propriedades armazenadas em cache devem retornar cópias
  • [SPARK-48308] [SC-166152][Core] Unificar a obtenção de esquema de dados sem colunas de partição em FileSourceStrategy
  • [SPARK-48301] [SC-166143][SQL] Renomear CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE como CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] Aplicar o método timestamp_diff integrado
  • [SPARK-47607] [SC-166129] Adicionar documentação para a estrutura estruturada de registro em log
  • [SPARK-48297] [SC-166136][SQL] Corrigir uma cláusula de regressão TRANSFORM com char/varchar
  • [SPARK-47045] [SC-156808][SQL] Substituir IllegalArgumentException por SparkIllegalArgumentException no sql/api
  • [SPARK-46991] [SC-156399][SQL] Substituir IllegalArgumentException por SparkIllegalArgumentException no catalyst
  • [SPARK-48031] [SC-165805][SQL] Dar suporte à evolução do esquema de exibição
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] Adicionar o método __repr__ ausente a SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] Refinar a representação de cadeia de caracteres de Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] Adicionar a função timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] Enriquecer a mensagem de erro para as falhas de leitura de valores decimais
  • [SPARK-47158] [SC-158078][SQL] Atribuir o nome adequado e sqlState a _LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] A NPE TransportClientFactory.createClient pode causar FetchFailedException
  • [SPARK-48277] [SC-166066] Aprimorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
  • [SPARK-47545] [SC-165444][CONNECT] Suporte ao conjunto de dados observe para o cliente Scala
  • [SPARK-48954] [SC-171672][SQL] Adicionar função try_mod
  • [SPARK-43258] [SC-158151][SQL] Atribuir nomes ao erro _LEGACY_ERROR_TEMP_202[3,5]
  • [SPARK-48267] [SC-165903][SS] Teste de regressão e2e com SPARK-47305
  • [SPARK-48263] [SC-165925] Suporte à função Ordenar para cadeias de caracteres não UTF8_BINARY
  • [SPARK-48260] [SC-165883][SQL] Desabilitar a coordenação do confirmador de saída em um teste do ParquetIOSuite
  • [SPARK-47834] [SC-165645][SQL][CONNECT] Marcar funções preteridas com @deprecated em SQLImplicits
  • [SPARK-48011] [SC-164061][Core] Armazenar o nome da LogKey como um valor para evitar a geração de novas instâncias de cadeia de caracteres
  • [SPARK-48074] [SC-164647][Core] Aumentar a legibilidade dos registros em log JSON
  • [SPARK-44953] [SC-165866][CORE] Registrar um aviso quando o acompanhamento de embaralhamento estiver habilitado junto com outro mecanismo com suporte a DA
  • [SPARK-48266] [SC-165897][CONNECT] Migrar o objeto de pacote org.apache.spark.sql.connect.dsl para o diretório de teste
  • [SPARK-47847] [SC-165651][CORE] Preterir spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] Limpar o uso de construtores preteridos de o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] Repassar a junção diretamente em vez de todos os argumentos para getBroadcastBuildSide e getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] Não permitir que as chaves de mapa sejam do tipo variante
  • [SPARK-48248] [SC-165791][PYTHON] Corrigir a matriz aninhada para respeitar a configuração herdada de inferArrayTypeFromFirstElement
  • [SPARK-47409] [SC-165568][SQL] Adicionar suporte à ordenação para o tipo StringTrim de funções/expressões (para UTF8_BINARY e LCASE)
  • [SPARK-48143] [ES-1095638][SQL] Usar exceções leves para controlar o fluxo entre UnivocityParser e FailureSafeParser
  • [SPARK-48146] [SC-165668][SQL] Corrigir a função de agregação na declaração With expression child
  • [SPARK-48161] Reverter "[SC-165325][SQL] Adicionar suporte à ordenação para expressões JSON"
  • [SPARK-47963] [CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos estruturados de registro em log
  • [SPARK-48180] [SC-165632][SQL] Aprimorar o erro quando a chamada UDTF com o arg TABLE esquecer os parênteses em torno de várias exprs PARTITION/ORDER BY
  • [SPARK-48002] [SC-164132][PYTHON][SS] Adicionar teste para métricas observadas no PySpark StreamingQueryListener
  • [SPARK-47421] [SC-165548][SQL] Adicionar suporte à ordenação para expressões de URL
  • [SPARK-48161] [SC-165325][SQL] Adicionar suporte à ordenação para expressões JSON
  • [SPARK-47359] [SC-164328][SQL] Dar suporte à função TRANSLATE para trabalhar com cadeias de caracteres ordenadas
  • [SPARK-47365] [SC-165643][PYTHON] Adicionar o método DataFrame toArrow() ao PySpark
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] Implementar a validação de função ausente em ApplyInXXX
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-47963] Reverter "[CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos estruturados de registro em log"
  • [SPARK-47963] [CORE] Fazer com que o ecossistema externo do Spark possa usar mecanismos estruturados de registro em log
  • [SPARK-48208] [SC-165547][SS] Ignorar o fornecimento de métricas de uso de memória do RocksDB se o uso de memória limitada estiver habilitado
  • [SPARK-47566] [SC-164314][SQL] Dar suporte à função SubstringIndex para trabalhar com cadeias de caracteres ordenadas
  • [SPARK-47589] [SC-162127][SQL] Hive-Thriftserver: migrar logError com variáveis para a estrutura estruturada de registro em log
  • [SPARK-48205] [SC-165501][PYTHON] Remover o modificador private[sql] para fontes de dados do Python
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis deve ver o plano de consulta inteiro
  • [SPARK-48197] [SC-165520][SQL] Evitar erro de asserção para a função lambda inválida
  • [SPARK-47318] [SC-162573][CORE] Adiciona a rodada HKDF à derivação de chave do AuthEngine para seguir as práticas de KEX padrão
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] Sempre definir a semente de Dataframe.sampledo lado do cliente
  • [SPARK-48128] [SC-165004][SQL] Para a expressão BitwiseCount / bit_count, corrija o erro de sintaxe de codegen para entradas de tipo booliano
  • [SPARK-48147] [SC-165144][SS][CONNECT] Remover ouvintes do lado do cliente quando a sessão local do Spark for excluída
  • [SPARK-48045] [SC-165299][PYTHON] Agruparpor da API do Pandas com multi-agg-relabel ignora as_index=False
  • [SPARK-48191] [SC-165323][SQL] Suporte a UTF-32 para codificação e decodificação de cadeia de caracteres
  • [SPARK-45352] [SC-137627][SQL] Eliminar partições de janela dobráveis
  • [SPARK-47297] [SC-165179][SQL] Adicionar suporte à ordenação para expressões de formato
  • [SPARK-47267] [SC-165170][SQL] Adicionar suporte à ordenação para expressões de hash
  • [SPARK-47965] [SC-163822][CORE] Evitar orNull em TypedConfigBuilder e OptionalConfigEntry
  • [SPARK-48166] [SQL] Evite usar BadRecordException como um erro voltado para o usuário em VariantExpressionEvalUtils
  • [SPARK-48105] [SC-165132][SS] Corrigir a condição de corrida entre o descarregamento do repositório de estado e o instantâneo
  • [SPARK-47922] [SC-163997][SQL] Implementar a expressão try_parse_json
  • [SPARK-47719] [SC-161909][SQL] Alterar spark.sql.legacy.timeParse…
  • [SPARK-48035] [SC-165136][SQL] Corrigir try_add/try_multiply sendo semanticamente igual a adicionar/multiplicar
  • [SPARK-48107] [SC-164878][PYTHON] Excluir testes da distribuição do Python
  • [SPARK-46894] [SC-164447][PYTHON] Migrar condições de erro do PySpark para um arquivo JSON autônomo
  • [SPARK-47583] [SC-163825][CORE] Núcleo do SQL: migrar logError com variáveis para a estrutura estruturada de registro em log
  • [SPARK-48064] Reverter "[SC-164697][SQL] Atualizar mensagens de erro para classes de erro relacionadas à rotina"
  • [SPARK-48048] [SC-164846][CONNECT][SS] Adicionado suporte ao ouvinte do lado do cliente para o Scala
  • [SPARK-48064] [SC-164697][SQL] Atualizar mensagens de erro para classes de erro relacionadas à rotina
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] Executar novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial tiver sido recebida
  • [SPARK-48124] [SC-165009][CORE] Desabilitar o registro em log estruturado para Connect-Repl por padrão
  • [SPARK-47922] Reverter "[SC-163997][SQL] Implementar a expressão try_parse_json"
  • [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys é muito rigoroso
  • [SPARK-48114] [SC-164956][CORE] Pré-compilar o regex de modelo para evitar um trabalho desnecessário
  • [SPARK-48067] [SC-164773][SQL] Corrigir colunas padrão de variantes
  • [SPARK-47922] [SC-163997][SQL] Implementar a expressão try_parse_json
  • [SPARK-48075] [SC-164709][SS] Adicionar verificação de tipo para funções avro do PySpark
  • [SPARK-47793] [SC-164324][SS][PYTHON] Implementar SimpleDataSourceStreamReader para a fonte de dados de fluxo do Python
  • [SPARK-48081] [SC-164719] Corrigir ClassCastException em NTile.checkInputDataTypes() quando o argumento for não dobrável ou do tipo errado
  • [SPARK-48102] [SC-164853][SS] Acompanhar a duração da aquisição de métricas de origem/coletor ao reportar o progresso da consulta de fluxo
  • [SPARK-47671] [SC-164854][Core] Habilitar o registro em log estruturado em log4j2.properties.template e atualizar documentos
  • [SPARK-47904] [SC-163409][SQL] Preservar maiúsculas e minúsculas no esquema Avro ao usar enableStableIdentifiersForUnionType
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] Analisar a cadeia de caracteres DDL com UserDefinedFunction.returnType
  • [SPARK-46922] [SC-156102][CORE][SQL] Não encapsular erros voltados para o usuário do runtime
  • [SPARK-48047] [SC-164576][SQL] Reduzir a pressão de memória de tags TreeNode vazias
  • [SPARK-47934] [SC-164648][CORE] Garantir que as barras à direita nos redirecionamentos de URL de HistoryServer
  • [SPARK-47921] [SC-163826][CONNECT] Corrigir a criação de ExecuteJobTag no ExecuteHolder
  • [SPARK-48014] [SC-164150][SQL] Alterar o erro makeFromJava em EvaluatePython para um erro voltado para o usuário
  • [SPARK-47903] [SC-163424][PYTHON] Adicionar suporte para os tipos escalares restantes na biblioteca de Variantes do PySpark
  • [SPARK-48068] [SC-164579][PYTHON] mypy deve ter um parâmetro --python-executable
  • [SPARK-47846] [SC-163074][SQL] Adicionar suporte para o tipo Variante na expressão from_json
  • [SPARK-48050] [SC-164322][SS] Registrar em log o plano lógico no início da consulta
  • [SPARK-47810] [SC-163076][SQL] Substituir expressão equivalente a <=> na condição de junção
  • [SPARK-47741] [SC-164290] Adicionado o tratamento de excedente de pilha ao analisador
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame deve alertar quanto a opções sem suporte
  • [SPARK-47939] [SC-164171][SQL] Implementar uma nova regra do Analisador para migrar ParameterizedQuery para dentro de ExplainCommand e DescribeQueryCommand
  • [SPARK-48063] [SC-164432][CORE] Habilitar spark.stage.ignoreDecommissionFetchFailure por padrão
  • [SPARK-48016] [SC-164280][SQL] Corrigir um bug na função try_divide quando tiver decimais
  • [SPARK-48033] [SC-164291][SQL] Corrigir expressões de RuntimeReplaceable sendo usadas em colunas padrão
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] Evitar chamadas repetidas para conf.resolver em resolveExpression
  • [SPARK-48003] [SC-164323][SQL] Adicionar suporte à ordenação para agregação de esboço hll
  • [SPARK-47994] [SC-164175][SQL] Corrigir um bug com o pushdown do filtro de coluna CASE WHEN no SQLServer
  • [SPARK-47984] [SC-163837][ML][SQL] Alterar MetricsAggregate/V2Aggregator#serialize/deserialize para chamar SparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] Usar um formatador de carimbo de data/hora com fuso horário no nível da classe em vez de fazer cópias no nível do método
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Migrações de log estruturado
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Migrações de log estruturado
  • [SPARK-47567] [SC-164172][SQL] Dar suporte à função LOCATE para trabalhar com cadeias de caracteres ordenadas
  • [SPARK-47764] [SC-163820][CORE][SQL] Limpar dependências de embaralhamento com base em ShuffleCleanupMode
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] Atualizar a classe de erro para group.apply
  • [SPARK-47414] [SC-163831][SQL] Suporte à ordenação de letras minúsculas para expressões regexp
  • [SPARK-47418] [SC-163818][SQL] Adicionar implementações criadas à mão para o unicode-aware em letras minúsculas contains, startsWith e endsWith e otimizar UTF8_BINARY_LCASE
  • [SPARK-47580] [SC-163834][SQL] Catalisador do SQL: eliminar variáveis sem nome em logs de erros
  • logs[SPARK-47351] [SC-164008][SQL] Adicionar suporte à ordenação para expressões de cadeia de caracteres StringToMap e Mask
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue deve levar em conta os valores tipados nulos
  • [SPARK-47476] [SC-164014][SQL] Dar suporte à função REPLACE para trabalhar com cadeias de caracteres ordenadas
  • [SPARK-47408] [SC-164104][SQL] Corrigir mathExpressions que usam StringType
  • [SPARK-47350] [SC-164006][SQL] Adicionar suporte à ordenação para a expressão de cadeia de caracteres SplitPart
  • [SPARK-47692] [SC-163819][SQL] Corrigir o significado de StringType padrão na conversão implícita
  • [SPARK-47094] [SC-161957][SQL] SPJ: Reequilibrar dinamicamente o número de buckets quando não forem iguais
  • [SPARK-48001] [SC-164000][CORE] Remover private implicit def arrayToArrayWritable não utilizado de SparkContext
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
  • [SPARK-48019] [SC-164121] Corrigir o comportamento incorreto em ColumnVector/ColumnarArray com dicionário e nulos
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Migrações de log estruturado
  • [SPARK-47999] [SC-163998][SS] Aprimorar o registro em log em torno da criação de instantâneo e adicionar/remover entradas do mapa de cache de estado no provedor de repositório de estado respaldado por HDFS
  • [SPARK-47417] [SC-162872][SQL] Suporte à ordenação: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][CONNECT] Permitir que os plugins de conexão criem e processem conjuntos de dados
  • [SPARK-47411] [SC-163351][SQL] Dar suporte às funções StringInstr e FindInSet para trabalhar com cadeias de caracteres ordenadas
  • [SPARK-47360] [SC-163014][SQL] Suporte à ordenação: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] — Adicionar suporte a substr/left/right para ordenações
  • [SPARK-47983] [SC-163835][SQL] Rebaixar spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled para interno
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] Ocultar SQLContext e HiveContext no pyspark-connect
  • [SPARK-47985] [SC-163841][PYTHON] Simplificar funções com lit
  • [SPARK-47633] [SC-163453][SQL] Incluir a saída do plano do lado direito em LateralJoin#allAttributes para uma canonização mais consistente
  • [SPARK-47909] Reverter "[PYTHON][CONNECT] Classe DataFrame pai f...
  • [SPARK-47767] [SC-163096][SQL] Mostrar o valor de deslocamento em TakeOrderedAndProjectExec
  • [SPARK-47822] [SC-162968][SQL] Proibir que Expressões de Hash façam hash do Tipo de Dados de Variantes
  • [SPARK-47490] [SC-160494][SS] Corrigir o uso do construtor do Registrador em log do RocksDB para evitar um aviso de preterição
  • [SPARK-47417] Reverter o suporte à ordenação "[SC-162872][SQL]: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460][SQL] Corrigir a conscientização de ordenação Upper, Lower, InitCap
  • [SPARK-47909] [PYTHON][CONNECT] Classe DataFrame pai para Spark Connect e Spark Classic
  • [SPARK-47417] [SC-162872][SQL] Suporte à ordenação: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 15.3.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
clique 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografia 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 em execução 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empacotando 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
solicitações 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
sinal de interpolação 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
genéricos 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elemento gráfico 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 manuais 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1