Databricks Runtime 12.2 LTS

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 12.2 LTS, desenvolvido pelo Apache Spark 3.3.2.

O Databricks lançou essas imagens em março de 2023.

Novos recursos e aprimoramentos

Suporte à especificação de colunas de origem em instruções de mesclagem na evolução do esquema do Delta Lake

Você já pode especificar colunas presentes apenas na tabela de origem em ações de inserção ou atualização nas instruções de mesclagem quando a evolução do esquema está habilitada. No Databricks Runtime 12.1 e inferior, somente ações INSERT * ou UPDATE SET * podem ser usadas para evolução do esquema com mesclagem. Confira Evolução automática de esquema para mesclagem do Delta Lake.

Suporte a cargas de trabalho de Streaming Estruturado em clusters com o modo de acesso compartilhado

Você já pode usar o Streaming Estruturado para interagir com o Catálogo do Unity em clusters compartilhados. Algumas limitações são aplicáveis. Confira O Catálogo do Unity dá suporte a quais funcionalidades de Streaming Estruturado?.

Novos recursos para E/S preditiva

O suporte do Photon para o coletor Foreachbatch já está disponível. As cargas de trabalho que são transmitidas de uma origem e mescladas em tabelas Delta ou gravadas em vários coletores já podem se beneficiar do coletor Foreachbatch com o Photon.

Suporte a aliases implícitos de coluna lateral

Por padrão, o Azure Databricks já dá suporte a aliases implícitos de coluna lateral. Você já pode reutilizar uma expressão especificada anteriormente na mesma lista SELECT. Por exemplo, considerando SELECT 1 AS a, a + 1 AS b, o a em a + 1 pode ser resolvido como o 1 AS a definido anteriormente. Verifique Resolução de nomes para obter mais detalhes sobre a ordem de resolução. Para desativar esse recurso, defina spark.sql.lateralColumnAlias.enableImplicitResolution como false.

Novo recurso forEachBatch

Agora há suporte ao Photon quando foreachBatch é usado para gravação em um coletor de dados.

Opções de Conexão Padronizadas para Federação de Consulta

Você já pode usar um conjunto unificado de opções (host, porta, banco de dados, usuário, senha) para se conectar às fontes de dados compatíveis na Federação de Consulta. Port é opcional e usa o número da porta padrão para cada fonte de dados, a menos que especificado.

Biblioteca de funções SQL estendida para gerenciamento de matriz

Já é possível remover todos os elementos NULL de uma matriz usando array_compact. Para acrescentar elementos a uma matriz, use array_append.

Nova função mask para anonimizar cadeias de caracteres

Invoque a função mask para anonimizar valores de cadeia de caracteres confidenciais.

Retorno de SQLSTATEs em condições de erro comuns

A maioria das condições de erro do Databricks Runtime já inclui valores SQLSTATE documentados que podem ser usados para testar erros de maneira compatível com o padrão SQL.

Invocação de funções geradoras na cláusula FROM

Você já pode invocar funções geradoras com valor de tabela, como explode na cláusula FROM comum de uma consulta. Isso alinha a invocação de funções geradoras com outras funções de tabela internas e definidas pelo usuário.

Suporte a buffers de protocolo em disponibilidade geral

Você pode usar as funções from_protobuf e to_protobuf para trocar dados entre tipos binários e struct. Confira Ler e gravar buffers de protocolo.

Correções de bug

  • Consistência aprimorada para o comportamento de confirmação Delta para transações vazias relacionadas a comandos update, delete e merge. No nível de isolamento WriteSerializable, os comandos que não resultam em alterações agora criam um commit vazio. Em um nível de isolamento Serializable, essas transações vazias já não criam um commit.

Alterações de comportamento

Alterações de comportamento com o novo recurso de alias de coluna lateral

O novo recurso de alias de coluna lateral apresenta alterações de comportamento nos seguintes casos durante a resolução de nomes:

  • O alias de coluna lateral agora tem precedência sobre as referências correlacionadas com o mesmo nome. Por exemplo, na consulta SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), o c1 no c1 AS c2 interno era resolvido como a referência correlacionada t.c1, mas agora muda para o alias de coluna lateral 1 AS c1. Atualmente, a consulta retorna NULL.
  • O alias de coluna lateral agora tem precedência sobre os parâmetros de função com o mesmo nome. Por exemplo, na função CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, o x no corpo da função era resolvido como o parâmetro de função x, mas muda para o alias de coluna lateral x + 1 no corpo da função. Atualmente, a consulta SELECT * FROM func(1) retorna 2, 2.
  • Para desativar o recurso de alias de coluna lateral, defina spark.sql.lateralColumnAlias.enableImplicitResolution como false. Para obter mais informações, confira Resolução de nomes.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.8.2 para 3.9.0
    • joblib de 1.1.0 para 1.1.1
    • platformdirs de 2.6.0 para 2.6.2
    • whatthepatch de 1.0.3 para 1.0.4
  • Bibliotecas do R atualizadas:
    • class de 7.3-20 para 7.3-21
    • codetools de 0.2-18 para 0.2-19
    • MASS de 7.3-58 para 7.3-58.2
    • nlme de 3.1-160 para 3.1-162
    • Rserve de 1.8-11 para 1.8-12
    • SparkR de 3.3.1 para 3.3.2

Alterações de comportamento

  • Agora, os usuários precisam ter os privilégios SELECT e MODIFY em qualquer arquivo ao criar um esquema com um local definido.

Apache Spark

O Databricks Runtime 12.2 inclui o Apache Spark 3.3.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.1 (sem suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-42416] [SC-123205][SC-122851][SQL] As operações de conjunto de datas não devem resolver o plano lógico analisado novamente
  • [SPARK-41848] Reverter “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Corrigir tarefa com excesso de agendamento com TaskResourceProfile”
  • [SPARK-42162] [SC-122711][ES-556261] Introduzir a expressão MultiCommutativeOp como uma otimização de memória para canonizar árvores grandes de expressões comutativas
  • [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Corrigir configuração de profundidade recursiva nas funções Protobuf
  • [SPARK-42002] [SC-122476][CONNECT][PYTHON] Implementar o DataFrameWriterV2
  • [SPARK-41716] [SC-122545][CONNECT] Renomear _catalog_to_pandas para _execute_and_fetch no Catálogo
  • [SPARK-41490] [SC-121774][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Implementar Catalog.cacheTable, isCached e uncache
  • [SPARK-42191] [SC-121990][SQL] Dar suporte à UDF ‘luhn_check’
  • [SPARK-42253] [SC-121976][PYTHON] Adicionar teste para detectar classes de erro duplicadas
  • [SPARK-42268] [SC-122251][CONNECT][PYTHON] Adicionar UserDefinedType em protos
  • [SPARK-42231] [SC-121841][SQL] Transformar MISSING_STATIC_PARTITION_COLUMN em internalError
  • [SPARK-42136] [SC-122554] Refatorar cálculo de particionamento de saída de BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][SQL] Integrar _LEGACY_ERROR_TEMP_1003 a FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][SC-121820][PYTHON] Migrar o TypeError de pyspark/sql/dataframe.py para PySparkTypeError
  • [SPARK-35240] Reverter “[SC-118242][SS] Usar CheckpointFileManager…
  • [SPARK-41488] [SC-121858][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1176 (e 1177)
  • [SPARK-42232] [SC-122267][SQL] Renomear a classe de erro UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][SQL] Reescrever agregações distintas após mesclagem de subconsulta
  • [SPARK-42306] [SC-122539][SQL] Integrar _LEGACY_ERROR_TEMP_1317 a UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][SQL] Renomear a classe de erro: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][CORE] Ignorar IOException em handleBlockRemovalFailure caso SparkContext seja interrompido
  • [SPARK-41295] [SC-122442][SPARK-41296][SQL] Renomear as classes de erro
  • [SPARK-42320] [SC-122478][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][CONNECT] O SparkConnectClient já dá suporte a RetryPolicies
  • [SPARK-38728] [SC-116723][SQL] Testar a classe de erro FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Exemplos autossuficientes no PySpark
  • [SPARK-39347] [SC-122457][SS] Corrigir o bug no cálculo da janela de tempo quando a hora do evento < 0
  • [SPARK-42336] [SC-122458][CORE] Usar getOrElse() em vez de contains() em ResourceAllocator
  • [SPARK-42125] [SC-121827][CONNECT][PYTHON] UDF do Pandas no Spark Connect
  • [SPARK-42217] [SC-122263][SQL] Dar suporte a aliases implícitos de coluna lateral em consultas com Window
  • [SPARK-35240] [SC-118242][SS] Usar CheckpointFileManager para processamento de arquivo de ponto de verificação
  • [SPARK-42294] [SC-122337][SQL] Incluir valores padrão de coluna na saída DESCRIBE das tabelas V2
  • [SPARK-41979] Reverter “Reverter ‘[12.x][SC-121190][SQL] Adicionar pontos ausentes às mensagens de erro nas classes de erro’”.
  • [SPARK-42286] [SC-122336][SQL] Fallback para o caminho de código codegen anterior na expressão complexa com CAST
  • [SPARK-42275] [SC-122249][CONNECT][PYTHON] Evitar o uso de list e dict internos na digitação estática
  • [SPARK-41985] [SC-122172][SQL] Centralizar mais regras de resolução de colunas
  • [SPARK-42126] [SC-122330][PYTHON][CONNECT] Aceitar tipo de retorno em cadeias de caracteres DDL para UDFs escalares do Python no Spark Connect
  • [SPARK-42197] [SC-122328][SC-121514][CONNECT] Reutilizar inicialização de JVM e separar grupos de configuração para definição no modo local remoto
  • [SPARK-41575] [SC-120118][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Reverter “[SC-122172][SQL] Centralizar mais regras de resolução de colunas”
  • [SPARK-42123] [SC-122234][SC-121453][SQL] Incluir valores padrão de coluna na saída DESCRIBE e SHOW CREATE TABLE
  • [SPARK-41985] [SC-122172][SQL] Centralizar mais regras de resolução de colunas
  • [SPARK-42284] [SC-122233][CONNECT] Verificar se o assembly do servidor de conexão foi compilado antes de executar testes do cliente – SBT
  • [SPARK-42239] [SC-121790][SQL] Integrar MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][SQL] O pushdown do DS V2 dá suporte à compilação autônoma de SortOrder pelos dialetos JDBC
  • [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics deve lidar com a UDAF do Python
  • [SPARK-41979] Reverter “[12.x][SC-121190][SQL] Adicionar pontos ausentes às mensagens de erro nas classes de erro”.
  • [SPARK-42224] [12.x][SC-121708][CONNECT] Migrar TypeError para a estrutura de erro nas funções do Spark Connect
  • [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Migrar os erros do Spark Connect para a estrutura de erros do PySpark.
  • [SPARK-42119] [SC-121913][SC-121342][SQL] Adicionar funções internas com valor de tabela inline e inline_outer
  • [SPARK-41489] [SC-121713][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Introduzir PySparkValueError e PySparkTypeError
  • [SPARK-42081] [SC-121723][SQL] Aprimorar a validação de alteração do plano
  • [SPARK-42225] [12.x][SC-121714][CONNECT] Adicionar SparkConnectIllegalArgumentException para tratar com precisão o erro do Spark Connect.
  • [SPARK-42044] [12.x][SC-121280][SQL] Corrigir a mensagem de erro incorreta em MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][SC-121712][PS] Permitir parâmetro de colunas ao criar DataFrame com Series.
  • [SPARK-42078] [12.x][SC-120761][PYTHON] Migrar erros gerados pela JVM para PySparkException.
  • [SPARK-42133] [12.x][SC-121250] Adicionar métodos básicos de API de Conjunto de Dados ao cliente Scala do SparkConnect
  • [SPARK-41979] [12.x][SC-121190][SQL] Adicionar pontos ausentes às mensagens de erro nas classes de erro.
  • [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] UDF escalar embutida do Python no Spark Connect
  • [SPARK-42051] [SC-121994][SQL] Suporte de codegen para HiveGenericUDF
  • [SPARK-42257] [SC-121948][CORE] Remover classificador externo de variável não utilizado
  • [SPARK-41735] [SC-121771][SQL] Usar MINIMAL em vez de STANDARD em SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][SQL] Refinar NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][SQL] Aprimorar mensagem de erro em PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][CORE] Migrar SparkCoreErrors para as classes de erro
  • [SPARK-42163] [SC-121839][SQL] Corrigir remoção de esquema para chave de mapa ou índice de matriz não dobrável
  • [SPARK-40711] [SC-119990][SQL] Adicionar métricas de tamanho de despejo à janela
  • [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Fazer com que createDataFrame dê suporte à coerção de AtomicType -> StringType
  • [SPARK-42202] [SC-121837][Connect][Teste] Aprimorar a lógica de parada do servidor de teste E2E
  • [SPARK-41167] [SC-117425][SQL] Aprimorar o desempenho de like múltiplo criando um predicado de árvore de expressão equilibrada
  • [SPARK-41931] [SC-121618][SQL] Aprimorar mensagem de erro para definição incompleta de tipo complexo
  • [SPARK-36124] [SC-121339][SC-110446][SQL] Dar suporte a subconsultas com a correlação por meio de UNION
  • [SPARK-42090] [SC-121290][3.3] Introduzir a contagem de repetição do SASL em RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR deve fornecer o agendador FAIR
  • [SPARK-41572] [SC-120772][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][SQL] Renomear e aprimorar mensagem de erro para NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][SQL] Aprimorar mensagem de erro para INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][SC-120573] Atribuir SQLSTATEs (1/2)
  • [SPARK-41415] [SC-121117][3.3] Repetições de solicitação SASL
  • [SPARK-38591] [SC-121018][SQL] Adicionar flatMapSortedGroups e cogroupSorted
  • [SPARK-41975] [SC-120767][SQL] Aprimorar mensagem de erro para INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][SQL][PROTOBUF] Adicionar opções ausentes para funções Protobuf
  • [SPARK-41984] [SC-120769][SQL] Renomear e aprimorar mensagem de erro para RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][SQL] Corrigir NPE para classes de erro CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][CONNECT][PYTHON] Corrigir nome incorreto de coluna no doctest de withField
  • [SPARK-41283] [SC-121175][CONNECT][PYTHON] Adicionar array_append ao Connect
  • [SPARK-41960] [SC-120773][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][SQL] Corrigir getPartitionFiltersAndDataFilters() para tratar filtros sem atributos referenciados
  • [SPARK-42096] [SC-121012][CONNECT] Limpeza de alguns códigos no módulo connect
  • [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Corrigir count(*) e count(col(*))
  • [SPARK-42045] [SC-120958][SC-120450][SQL] Modo ANSI SQL: Round/Bround deve retornar um erro após estouro de inteiro
  • [SPARK-42043] [SC-120968][CONNECT] Resultado do cliente Scala com testes E2E
  • [SPARK-41884] [SC-121022][CONNECT] Dar suporte à tupla ingênua como uma linha aninhada
  • [SPARK-42112] [SC-121011][SQL][SS] Adicionar verificação de nulo antes que a função ContinuousWriteRDD#compute feche dataWriter
  • [SPARK-42077] [SC-120553][CONNECT][PYTHON] O literal deve gerar TypeError para um DataType sem suporte
  • [SPARK-42108] [SC-120898][SQL] Incluir a transformação de Count(*) em Count(1) no Analyzer
  • [SPARK-41666] [SC-120928][SC-119009][PYTHON] Dar suporte ao SQL parametrizado por meio de sql()
  • [SPARK-40599] [SC-120930][SQL] Flexibilizar o tipo de regra multiTransform para permitir que as alternativas sejam qualquer tipo de Seq
  • [SPARK-41574] [SC-120771][SQL] Atualizar _LEGACY_ERROR_TEMP_2009 como INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][SQL] Transformar INCORRECT_END_OFFSET em INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][SC-118513][CORE] Renomear MedianHeap como PercentileMap e dar suporte ao percentil
  • [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Corrigir a representação de cadeia de caracteres na classe Column
  • [SPARK-42084] [SC-120775][SQL] Evitar o vazamento da restrição qualified-access-only
  • [SPARK-41973] [SC-120765][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][SQL] SPJ: Remover opção em KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][CONNECT][PYTHON] Renomear mensagens proto de toDF e withColumnsRenamed
  • [SPARK-42089] [SC-120605][CONNECT][PYTHON] Corrigir problemas de nomes de variáveis em funções lambda aninhadas
  • [SPARK-41982] [SC-120604][SQL] As partições do tipo cadeia de caracteres não devem ser tratadas como tipos numéricos
  • [SPARK-40599] [SC-120620][SQL] Adicionar métodos multiTransform a TreeNode para gerar alternativas
  • [SPARK-42085] [SC-120556][CONNECT][PYTHON] Fazer com que from_arrow_schema dê suporte a tipos aninhados
  • [SPARK-42057] [SC-120507][SQL][PROTOBUF] Corrigir o modo de tratamento da exceção no relatório de erros.
  • [SPARK-41586] [12.x][TODOS OS TESTES][SC-120544][PYTHON] Introduzir pyspark.errors e classes de erro no PySpark.
  • [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal deve dar suporte à ndarray unidimensional
  • [SPARK-42021] [SC-120584][CONNECT][PYTHON] Incluir o suporte a array.array em createDataFrame
  • [SPARK-41896] [SC-120506][SQL] A filtragem por índice de linha retorna resultados vazios
  • [SPARK-41162] [SC-119742][SQL] Corrigir antijunção e semijunção para autojunção com agregações
  • [SPARK-41961] [SC-120501][SQL] Dar suporte a funções com valor de tabela com LATERAL
  • [SPARK-41752] [SC-120550][SQL][Interface do usuário] Agrupar execuções aninhadas na execução raiz
  • [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] O literal deve dar suporte a tipos de dados NumPy
  • [SPARK-42028] [SC-120344][CONNECT][PYTHON] Truncar carimbos de data/hora de nanossegundos
  • [SPARK-42011] [SC-120534][CONNECT][PYTHON] Implementar DataFrameReader.csv
  • [SPARK-41990] [SC-120532][SQL] Usar FieldReference.column em vez de apply na conversão de filtro da V1 para a V2
  • [SPARK-39217] [SC-120446][SQL] Incluir o suporte no DPP no lado da remoção que tenha Union
  • [SPARK-42076] [SC-120551][CONNECT][PYTHON] Fatorar conversão de dados arrow -> rows para conversion.py
  • [SPARK-42074] [SC-120540][SQL] Habilitar KryoSerializer em TPCDSQueryBenchmark para impor o registro de classe SQL
  • [SPARK-42012] [SC-120517][CONNECT][PYTHON] Implementar DataFrameReader.orc
  • [SPARK-41832] [SC-120513][CONNECT][PYTHON] Corrigir DataFrame.unionByName e adicionar allow_missing_columns
  • [SPARK-38651] [SC-120514] [SQL] Adicionar spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert deve aceitar ExpressionProxy como filho
  • [SPARK-41232] [SC-120073][SQL][PYTHON] Adicionar a função array_append
  • [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader deve dar suporte à lista de caminhos
  • [SPARK-42071] [SC-120533][CORE] Registrar scala.math.Ordering$Reverse em KyroSerializer
  • [SPARK-41986] [SC-120429][SQL] Introduzir a ordem aleatória em SinglePartition
  • [SPARK-42016] [SC-120428][CONNECT][PYTHON] Habilitar testes relacionados à coluna aninhada
  • [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader deve dar suporte ao esquema de StructType
  • [SPARK-42031] [SC-120389][CORE][SQL] Limpar métodos remove que não precisam ser substituídos
  • [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Fazer com que createDataFrame(rows/lists/tuples/dicts) dê suporte a tipos aninhados
  • [SPARK-41437] [SC-117601][SQL][TODOS OS TESTES] Não otimizar a consulta de entrada duas vezes para fallback de gravação v1
  • [SPARK-41840] [SC-119719][CONNECT][PYTHON] Adicionar o alias ausente groupby
  • [SPARK-41846] [SC-119717][CONNECT][PYTHON] Habilitar doctests nas funções de janela
  • [SPARK-41914] [SC-120094][SQL] O FileFormatWriter materializa o plano do AQE antes de acessar outputOrdering
  • [SPARK-41805] [SC-119992][SQL] Reutilizar expressões em WindowSpecDefinition
  • [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range para usar float como argumentos
  • [SPARK-42029] [SC-120336][CONNECT] Adicionar regras de Sombreamento do Guava a connect-common para evitar falhas de inicialização
  • [SPARK-41989] [SC-120334][PYTHON] Evitar que a configuração de log do pyspark.pandas seja desfeita
  • [SPARK-42003] [SC-120331][SQL] Reduzir código duplicado em ResolveGroupByAll
  • [SPARK-41635] [SC-120313][SQL] Corrigir group by all no relatório de erros
  • [SPARK-41047] [SC-120291][SQL] Aprimorar a documentação de round
  • [SPARK-41822] [SC-120122][CONNECT] Configurar a conexão gRPC para o cliente Scala/JVM
  • [SPARK-41879] [SC-120264][CONNECT][PYTHON] Fazer com que DataFrame.collect dê suporte a tipos aninhados
  • [SPARK-41887] [SC-120268][CONNECT][PYTHON] Fazer com que DataFrame.hint aceite os parâmetros tipados de lista
  • [SPARK-41964] [SC-120210][CONNECT][PYTHON] Adicionar a lista de funções de E/S sem suporte
  • [SPARK-41595] [SC-120097][SQL] Dar suporte à função geradora explode/explode_outer na cláusula FROM
  • [SPARK-41957] [SC-120121][CONNECT][PYTHON] Habilitar o doctest em DataFrame.hint
  • [SPARK-41886] [SC-120141][CONNECT][PYTHON] A saída do doctest de DataFrame.intersect tem uma ordem diferente
  • [SPARK-41442] [SC-117795][SQL][TODOS OS TESTES] Somente atualizar o valor SQLMetric se a mesclagem estiver sendo feita com uma métrica válida
  • [SPARK-41944] [SC-120046][CONNECT] Transmitir configurações quando o modo remoto local estiver ativado
  • [SPARK-41708] [SC-119838][SQL] Efetuar pull das informações de v1write em WriteFiles
  • [SPARK-41780] [SC-120000][SQL] INVALID_PARAMETER_VALUE.PATTERN deve ser gerado quando o regexp dos parâmetros é inválido
  • [SPARK-41889] [SC-119975][SQL] Anexar causa raiz a invalidPatternError e refatorar classes de erro INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][SQL] Criar classes de caso AvroScanBuilder e JsonScanBuilder
  • [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: conectar dados de colunas perdidos do cliente com pyarrow.Table.to_pylist
  • [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Codificadores independentes
  • [SPARK-41354] [SC-119995][CONNECT][PYTHON] Implementar RepartitionByExpression
  • [SPARK-41581] [SC-119997][SQL] Atualizar _LEGACY_ERROR_TEMP_1230 como INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][CONNECT][PYTHON] Adicionar a lista sem suporte para functions
  • [SPARK-41933] [SC-119980][CONNECT] Fornecer o modo local que inicia automaticamente o servidor
  • [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame` deve respeitar o esquema DDL fornecido pelo usuário
  • [SPARK-41936] [SC-119978][CONNECT][PYTHON] Fazer com que withMetadata reutilize o proto withColumns
  • [SPARK-41898] [SC-119931][CONNECT][PYTHON] Paridade de verificação de tipo dos parâmetros Window.rowsBetween e Window.rangeBetween com o PySpark
  • [SPARK-41939] [SC-119977][CONNECT][PYTHON] Adicionar a lista sem suporte para funções catalog
  • [SPARK-41924] [SC-119946][CONNECT][PYTHON] Fazer com que StructType dê suporte aos metadados e implementar DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][CONNECT][PYTHON] Adicionar a lista de funções sem suporte para session
  • [SPARK-41875] [SC-119969][CONNECT][PYTHON] Adicionar casos de teste para Dataset.to()
  • [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ignorar a explicação da conexão do doctest
  • [SPARK-41880] [SC-119959][CONNECT][PYTHON] Fazer com que a função from_json aceite o esquema não literal
  • [SPARK-41927] [SC-119952][CONNECT][PYTHON] Adicionar a lista sem suporte para GroupedData
  • [SPARK-41929] [SC-119949][CONNECT][PYTHON] Adicionar a função array_compact
  • [SPARK-41827] [SC-119841][CONNECT][PYTHON] Fazer com que GroupBy aceite a lista de colunas
  • [SPARK-41925] [SC-119905][SQL] Habilitar spark.sql.orc.enableNestedColumnVectorizedReader por padrão
  • [SPARK-41831] [SC-119853][CONNECT][PYTHON] Fazer com que DataFrame.select aceite a lista de colunas
  • [SPARK-41455] [SC-119858][CONNECT][PYTHON] Fazer com que DataFrame.collect descarte as informações de fuso horário
  • [SPARK-41923] [SC-119861][CONNECT][PYTHON] Adicionar DataFrame.writeTo à lista sem suporte
  • [SPARK-41912] [SC-119837][SQL] A subconsulta não deve validar a CTE
  • [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Fazer com que createDataFrame dê suporte a dataframes vazios
  • [SPARK-41905] [SC-119848][CONNECT] Dar suporte ao nome como cadeias de caracteres na fatia
  • [SPARK-41869] [SC-119845][CONNECT] Rejeitar cadeia de caracteres individual em dropDuplicates
  • [SPARK-41830] [SC-119840][CONNECT][PYTHON] Fazer com que DataFrame.sample aceite os mesmos parâmetros do PySpark
  • [SPARK-41849] [SC-119835][CONNECT] Implementar DataFrameReader.parquet
  • [SPARK-41861] [SC-119834][SQL] Fazer com que o build() do ScanBuilders v2 retorne a verificação tipada
  • [SPARK-41825] [SC-119710][CONNECT][PYTHON] Habilitar doctests relacionados a DataFrame.show
  • [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Fazer com que createDataFrame trate None/NaN corretamente
  • [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Fazer com que DataFrame.collect trate None/NaN/Array/Binary corretamente
  • [SPARK-39318] [SC-119713][SQL] Remover arquivos ouro tpch-plan-stability WithStats
  • [SPARK-41791] [SC-119745] Adicionar novos tipos de colunas de metadados de origem de arquivo
  • [SPARK-41790] [SC-119729][SQL] Definir o formato do leitor e do gravador de TRANSFORM corretamente
  • [SPARK-41829] [SC-119725][CONNECT][PYTHON] Adicionar o parâmetro de ordenação ausente em Sort e sortWithinPartitions
  • [SPARK-41576] [SC-119718][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][CONNECT][PYTHON] Corrigir doctest em DataFrame.describe
  • [SPARK-41871] [SC-119714][CONNECT] O parâmetro de dica de DataFrame pode ser str, float ou int
  • [SPARK-41720] [SC-119076][SQL] Renomear UnresolvedFunc como UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][SQL] Corrigir o bug de correção relacionado aos valores DEFAULT no leitor de Orc
  • [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0022

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 12.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
clique 8.0.4 criptografia 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 entrypoints 0,4 em execução 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 numpy 1.21.5 empacotando 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
solicitações 2.27.1 requests-unixsocket 0.2.0 rope 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 11/11/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 askpass 1,1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 sinal de interpolação 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credenciais 1.3.2 curl 4.3.3
data.table 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 Genéricos 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 elemento gráfico 4.2.2 grDevices 4.2.2
grade 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1,3
MASS 7.3-58.2 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1