Compartilhar via

Databricks Runtime 11.2 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 11.2 da plataforma Apache Spark 3.3.0. O Databricks lançou essa versão em setembro de 2022.

Novos recursos e aprimoramentos

Alterar para permissões ALTER TABLE em ACLs de tabela (lista de controles de acesso de tabela)

Agora, os usuários só precisam de permissões MODIFY para alterar o esquema ou as propriedades de uma tabela com ALTER TABLE. A propriedade ainda é necessária para conceder permissões em uma tabela, alterar o proprietário, alterar o local ou renomeá-la. Essa alteração torna o modelo de permissão para as ACLs de tabela mais consistente com o Catálogo do Unity. Confira ALTER TABLE.

Remoção dinâmica para MERGE INTO

Ao usar a computação habilitada para Photon, MERGE INTO agora usa remoção dinâmica de arquivo e partição quando apropriado para melhorar o desempenho, por exemplo, quando uma pequena tabela de origem é mesclada em uma tabela de destino maior.

Detecção de conflitos aprimorada no Delta com a remoção dinâmica de arquivo

Ao verificar possíveis conflitos durante confirmações, a detecção de conflitos agora considera arquivos que são removidos pela remoção dinâmica de arquivo, mas que não teriam sido removidos por filtros estáticos. Isso resulta em um número reduzido de transações com falha.

Novo cartão de Integrações de Software Livre nas páginas iniciais do DSE/SQL

Apresentando o novo cartão 'Integrações de Software Livre' nas páginas iniciais do DSE/SQL que exibe opções de integração de código aberto, como Delta Live Tables e dbt core.

Aprimoramentos na detecção de partição CONVERT TO DELTA

CONVERT TO DELTA infere automaticamente o esquema de partição para as tabelas Parquet registradas no metastore do Hive ou no Catálogo do Unity, eliminando a necessidade de fornecer a cláusula PARTITIONED BY.

CONVERT TO DELTA aproveita as informações de partição do metastore para descobrir os arquivos de uma tabela Parquet em vez de listar todo o caminho base, garantindo que as partições descartadas não sejam adicionadas à tabela Delta.

Confira Conversão no Delta Lake.

Os esquemas de tabela agora dão suporte a valores padrão para colunas

Os esquemas de tabela agora dão suporte a valores padrão para colunas. Os comandos INSERT, UPDATE e DELETE para essas colunas podem se referir a esses valores com a palavra-chave DEFAULT. Por exemplo, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguido por INSERT INTO t VALUES (1, DEFAULT) acrescentará a linha (1, 42). Esse comportamento tem suporte para fontes de dados CSV, JSON, Orc e Parquet.

Novas funções geoespaciais H3

Agora você pode usar 28 novas expressões H3 internas para processamento geoespacial em clusters habilitados para Photon, disponíveis em SQL, Scala e Python. Confira Funções geoespaciais H3

Nova dependência do Databricks Runtime

O Databricks Runtime agora depende da biblioteca Java H3 versão 3.7.0.

Traga sua própria chave: criptografia de credenciais do Git

Use o Azure Key Vault para criptografar um PAT (token de acesso pessoal) do Git ou outra credencial do Git.

Consulte Configurar pastas Git do Databricks (Repos).

SQL: nova função de agregação any_value

A nova função de agregação any_value retorna qualquer valor aleatório de expr para um grupo de linhas. Confira a função de agregação any_value.

Comandos do sistema de arquivos do Databricks Utilities permitidos em mais tipos de cluster

Os comandos dbutils.fs (exceto para comandos relacionados à montagem) agora são permitidos em clusters de isolamento do usuário com o Catálogo do Unity, bem como clusters de ACL de tabela herdados quando o usuário tem permissões ANY FILE.

Os privilégios CREATE já podem ser concedidos em metastores para o Catálogo do Unity

Os privilégios CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT e CREATE PROVIDER já podem ser concedidos em metastores do Catálogo do Unity.

Gravações otimizadas para tabelas não particionadas em clusters habilitados para o Photon

As tabelas gerenciadas do Catálogo do Unity já persistem automaticamente arquivos de um tamanho bem ajustado de tabelas não particionadas para aprimorar a velocidade da consulta e otimizar o desempenho.

Suporte do Photon para mais fontes de dados

O Photon agora dá suporte a mais fontes de dados, incluindo CSV e Avro, e também é compatível com quadros de dados armazenados em cache. Anteriormente, a verificação dessas fontes de dados significava que toda a consulta não podia ser fotonizada, independentemente dos operadores ou expressões da consulta. Agora, as consultas que verificam essas fontes de dados podem ser fotonizadas, desbloqueando latência significativa e melhorias de TCO.

Esse recurso é habilitado por padrão pela configuração spark.databricks.photon.photonRowToColumnar.enabled.

Limitações:

  • Esquemas com tipos aninhados não têm suporte (ou seja, matrizes, mapas e structs) nesta versão.
  • As fontes ORC, RDD, Kinesis, Kafka e EventHub não têm suporte nesta versão.

SQL: agora, ALTER SHARE dá suporte à START VERSION

O comando ALTER SHARE agora dá suporte START VERSION, o que permite que os provedores compartilhem dados a partir de uma versão específica da tabela. Confira ALTER SHARE.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • distlib de 0.3.4 a 0.3.5
    • filelock de 3.7.1 a 3.8.0
    • plotly de 5.8.2 a 5.9.0
    • protobuf de 4.21.2 a 4.21.5
  • Bibliotecas do R atualizadas:
    • broom de 0.8.0 a 1.0.0
    • bslib de 0.3.1 a 0.4.0
    • callr de 3.7.0 a 3.7.1
    • caret de 6.0-92 a 6.0-93
    • dbplyr de 2.2.0 a 2.2.1
    • devtools de 2.4.3 a 2.4.4
    • evaluate de 0.15 a 0.16
    • dtplyr de 2.1.0 a 2.1.1
    • fontawesome de 0.2.2 a 0.3.0
    • future de 1.26.1 a 1.27.0
    • generics de 0.1.2 a 0.1.3
    • gert de 1.6.0 a 1.7.0
    • globals de 0.15.1 a 0.16.0
    • googlesheets4 de 1.0.0 a 1.0.1
    • hardhat de 1.1.0 a 1.2.0
    • htmltools de 0.5.2 a 0.5.3
    • parallelly de 1.32.0 a 1.32.1
    • pillar de 1.7.0 a 1.8.0
    • pkgload de 1.2.4 a 1.3.0
    • processx de 3.6.1 a 3.7.0
    • Rcpp de 1.0.8.3 a 1.0.9
    • recipes de 0.2.0 a 1.0.1
    • rlang de 1.0.2 a 1.0.4
    • roxygen2 de 7.2.0 a 7.2.1
    • RSQLite de 2.2.14 a 2.2.15
    • sass de 0.4.1 a 0.4.2
    • shiny de 1.7.1 a 1.7.2
    • cadeia de caracteres de 1.7.6 a 1.7.8
    • tibble de 3.1.7 a 3.1.8
    • tidyverse de 1.3.1 a 1.3.2
    • timeDate de 3043.102 a 4021.104
    • xfun de 0.31 a 0.32
  • Bibliotecas do Java atualizadas:
    • org.apache.orc.orc-core de 1.7.4 a 1.7.5
    • org.apache.orc.orc-mapreduce de 1.7.4 a 1.7.5
    • org.apache.orc.orc-shims de 1.7.4 a 1.7.5

Apache Spark

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Retornar tipos de intervalo ANSI mais amplos das funções de percentil
  • [SPARK-40054] [SQL] Restaure a sintaxe de tratamento de erro de try_cast()
  • [SPARK-39489] [CORE] Melhore o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s
  • [SPARK-39319] [CORE][SQL] Faça contextos de consulta como parte de SparkThrowable
  • [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar bugs
  • [SPARK-40001] [SQL] Faça as gravações NULL em colunas JSON DEFAULT gravarem 'null' no armazenamento
  • [SPARK-39635] [SQL] Suporte métricas de driver na API de métrica personalizada DS v2
  • [SPARK-39184] [SQL] Manipule a matriz de resultados subdimensionada em sequências de data e com carimbo de data/hora
  • [SPARK-40019] [SQL] Refatore o comentário do containsNull do Tipo de matriz e refatore as lógicas não entendidas na expressão collectionOperator sobre containsNull
  • [SPARK-39989] [SQL] Suporte estatísticas de coluna de estimativa se elas forem expressões dobráveis
  • [SPARK-39926] [SQL] Corrija bugs na coluna de suporte PADRÃO para verificações Parquet não vetoriais
  • [SPARK-40052] [SQL] Manipule buffers de bytes diretos em VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Corrija o tipo de intervalo de destino em erros de estouro de conversão
  • [SPARK-39835] [SQL] Corrija a classificação global de remoção EliminateSorts abaixo da classificação local
  • [SPARK-40002] [SQL] Não reduza o limite por meio da janela usando a função NTILE
  • [SPARK-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
  • [SPARK-39985] [SQL] Habilite valores de coluna PADRÃO implícitos em inserções de DataFrames
  • [SPARK-39776] [SQL] A cadeia de caracteres detalhada JOIN deve adicionar o tipo Junção
  • [SPARK-38901] [SQL] O DS V2 dá suporte à propagação de funções diversas
  • [SPARK-40028] [SQL][FollowUp] Aprimore exemplos de funções de cadeia de caracteres
  • [SPARK-39983] [CORE][SQL] Não armazene em cache as relações de transmissão não serializadas no driver
  • [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
  • [SPARK-40028] [SQL] Adicione exemplos binários para expressões de cadeia de caracteres
  • [SPARK-39981] [SQL] Acione a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert na conversão
  • [SPARK-40007] [PYTHON][SQL] Adicione 'mode' às funções
  • [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
  • [SPARK-40003] [PYTHON][SQL] Adicione 'median' às funções
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente em cache a relação de resultado
  • [SPARK-39951] [SQL] Atualize a verificação de coluna do Parquet V2 para campos aninhados
  • [SPARK-33236] [shuffle] Backport para DBR 11.x: habilite o serviço shuffle baseado em push para armazenar o estado em DB nível NM para reinicialização de preservação do trabalho
  • [SPARK-39836] [SQL] Simplifique V2ExpressionBuilder extraindo o método comum.
  • [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle em EliminateLimits
  • [SPARK-39961] [SQL] Traduza a propagação de DS V2 Converter se a conversão for segura
  • [SPARK-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a API de entrada da matriz em VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Remova AliasHelper ou PredicateHelper desnecessários para algumas regras
  • [SPARK-39900] [SQL] Enderece condição parcial ou negada no pushdown de predicado do formato binário
  • [SPARK-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
  • [SPARK-39958] [SQL] Adicione log de aviso quando não for possível carregar o objeto de métrica personalizado
  • [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
  • [SPARK-37194] [SQL] Evite classificação desnecessária na gravação v1 se não for partição dinâmica
  • [SPARK-39902] [SQL] Adicione detalhes de verificação ao nó de verificação do plano Spark no SparkUI
  • [SPARK-39865] [SQL] Mostre mensagens de erro adequadas nos erros de estouro da inserção de tabela
  • [SPARK-39940] [SS] Atualize tabela de catálogo na consulta de streaming com o coletor DSv1
  • [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro int em add_months()
  • [SPARK-39914] [SQL] Adicione filtro DS V2 à conversão de filtro V1
  • [SPARK-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In Nº 43454
  • [SPARK-39840] [SQL][PYTHON] Fator PythonArrowInput como uma simetria para PythonArrowOutput
  • [SPARK-39651] [SQL] Remova a condição de filtro se a comparação com rand for determinística
  • [SPARK-39877] [PYTHON] Adicione a opção transformar colunas em linhas à API de DataFrame do PySpark
  • [SPARK-39909] [SQL] Organize a verificação de informações de pushdown para JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Inclua as estatísticas de origem e as restrições para LogicalRDD se ele vier do DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
  • [SPARK-39860] [SQL] Mais expressões devem estender o Predicado
  • [SPARK-39823] [SQL][PYTHON] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
  • [SPARK-39918] [SQL][MINOR] Substitua a palavra "não comparável" por "incomparável" na mensagem de erro
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In
  • [SPARK-39862] [SQL] Backport manual para PR 43654 visando o DBR 11.x: Atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE … Usar comandos ADD COLUMN separadamente.
  • [SPARK-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
  • [SPARK-39899] [SQL] Corrija passagem de parâmetros de mensagem para InvalidUDFClassException
  • [SPARK-39890] [SQL] Faça TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Suporte CharType no PySpark
  • [SPARK-38864] [SQL] Adicione unpivot/melt ao Conjunto de dados
  • [SPARK-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
  • [SPARK-39808] [SQL] Suporte o MODO de função de agregação
  • [SPARK-39875] [SQL] Altere método protected na classe final para private ou package-visible
  • [SPARK-39731][SQL] Corrija problemas em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com política de analisador de tempo CORRIGIDA
  • [SPARK-39805] [SS] Pretere Trigger.Once e promova Trigger.AvailableNow
  • [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir a Expressão Catalyst para o filtro da fonte de dados
  • [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
  • [SPARK-39552] [SQL] Unifique v1 e v2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists deve lidar com namespace aninhado
  • [SPARK-37287] [SQL] Retire partição dinâmica e classificação de bucket do FileFormatWriter
  • [SPARK-39469] [SQL] Infira o tipo de data para inferência de esquema CSV
  • [SPARK-39148] [SQL] O pushdown de agregação do DS V2 pode funcionar com OFFSET ou LIMIT
  • [SPARK-39818] [SQL] Corrigir o bug em tipos ARRAY, STRUCT e MAP com valores DEFAULT com campos NULL
  • [SPARK-39792] [SQL] Adicione DecimalDivideWithOverflowCheck para a média decimal
  • [SPARK-39798] [SQL] Substitua toSeq.toArray por .toArray[Any] no construtor de GenericArrayData
  • [SPARK-39759] [SQL] Implemente listIndexes no JDBC (dialeto H2)
  • [SPARK-39385] [SQL] Dá suporte a pushdown REGR_AVGX e REGR_AVGY
  • [SPARK-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
  • [SPARK-39760] [PYTHON] Suporte Varchar no PySpark
  • [SPARK-39557] [SQL] Backport manual para DBR 11.x: Suporte a ARRAY, STRUCT, tipos MAP como valores DEFAULT
  • [SPARK-39758] [SQL][3.3] Corrija NPE das funções regexp em padrões inválidos
  • [SPARK-39749] [SQL] Modo ANSI SQL: use representação de cadeia de caracteres simples na conversão de Decimal para Cadeia de caracteres
  • [SPARK-39704] [SQL] Implementar createIndex e dropIndex e indexExists no JDBC (dialeto H2)
  • [SPARK-39803][SQL] Usar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Dar suporte ao tipo TimestampNTZ na fonte de dados JDBC
  • [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de repositório de estado rocksdb
  • [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
  • [SPARK-39751] [SQL] Renomeie a métrica de investigação de chave de agregação de hash
  • [SPARK-39772] [SQL] O namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
  • [SPARK-39625] [SPARK-38904][SQL] Adicionar Dataset.as(StructType)
  • [SPARK-39384] [SQL] Compile funções internas de agregação de regressão linear para dialeto JDBC
  • [SPARK-39720] [R] Implemente tableExists/getTable no SparkR para namespace 3L
  • [SPARK-39744] [SQL] Adicione a função REGEXP_INSTR
  • [SPARK-39716] [R] Faça currentDatabase/setCurrentDatabase/listCatalogs no namespace 3L de suporte do SparkR
  • [SPARK-39788] [SQL] Renomeie catalogName como dialectName para JdbcUtils
  • [SPARK-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
  • [SPARK-39754] [CORE][SQL] Remova import não utilizado ou {} desnecessário
  • [SPARK-39706] [SQL] Defina coluna ausente com defaultValue como constante em ParquetColumnVector
  • [SPARK-39699] [SQL] Torne CollapseProject mais inteligente sobre expressões de criação de coleção
  • [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem dar suporte ao filtro de agregação
  • [SPARK-39579] [SQL][PYTHON][R] Torne ListFunctions/getFunction/functionExists compatível com o namespace de três camadas
  • [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
  • [SPARK-39748] [SQL][SS] Inclua o plano lógico de origem para LogicalRDD se ele vier do DataFrame
  • [SPARK-39385] [SQL] Traduza funções de agregação de regressão linear para pushdown
  • [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para compilar e transmitir a tabela
  • [SPARK-39666] [ES-337834][SQL] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
  • [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
  • [SPARK-38647] [SQL] Adicione combinação de SupportsReportOrdering na interface para Verificação (DataSourceV2)
  • [SPARK-39497][SQL] Aprimore a exceção de análise da coluna de chave de mapa ausente
  • [SPARK-39661] [SQL] Evite criar um agente SLF4J desnecessário
  • [SPARK-39713][SQL] Modo ANSI: adicione sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] O DS V2 dá suporte a pushdown de funções datetime
  • [SPARK-39638] [SQL] Altere para usar ConstantColumnVector e armazenar colunas de partição em OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Limpe ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
  • [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
  • [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordenação de saída filho
  • [SPARK-39606] [SQL] Use estatísticas filho para estimar o operador de pedido
  • [SPARK-39611] [PYTHON][PS] Corrija aliases errados em array_ufunc
  • [SPARK-39656] [SQL][3.3] Corrija namespace errado em DescribeNamespaceExec
  • [SPARK-39675] [SQL] Alterne a configuração 'spark.sql.codegen.factoryMode' de finalidade de teste para a finalidade interna
  • [SPARK-39139] [SQL] O DS V2 dá suporte ao envio de DS V2 UDF
  • [SPARK-39434][SQL] Forneça o contexto da consulta de erro de runtime quando o índice de matriz estiver fora do limite
  • [SPARK-39479] [SQL] DS V2 dá suporte a pushdown de funções matemáticas (não ANSI)
  • [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
  • [SPARK-39553] [CORE] A ordem aleatória do cancelamento de registro de vários threads não deve gerar NPE ao usar o Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Adicione arquivo para cuidar das funções gerais do pandas ausentes
  • [SPARK-39444] [SQL] Adicione OptimizeSubqueries à lista nonExcludableRules
  • [SPARK-39316] [SQL] Mescle PromotePrecision e CheckOverflow em aritmética binária decimal
  • [SPARK-39505] [UI] Escape conteúdo do log renderizado na interface do usuário
  • [SPARK-39448] [SQL] Adicione ReplaceCTERefWithRepartition à lista nonExcludableRules
  • [SPARK-37961] [SQL] Substitua maxRows/maxRowsPerPartition para alguns operadores lógicos
  • [SPARK-35223] Reverta Adicionar IssueNavigationLink
  • [SPARK-39633] [SQL] Dê suporte ao carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
  • [SPARK-38796] [SQL] Atualize a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
  • [SPARK-39650] [SS] Corrija esquema de valor incorreto na eliminação de duplicação de streaming com a compatibilidade com versões anteriores
  • [SPARK-39636] [CORE][UI] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e tarefa/executor ResourceRequests
  • [SPARK-39432] [SQL] Retorne ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
  • [SPARK-39349] Adicione um método CheckError centralizado para a garantia de qualidade do caminho do erro
  • [SPARK-39453] [SQL] O DS V2 dá suporte a funções não agregadas em diversos envios (não ANSI)
  • [SPARK-38978] [SQL] O DS V2 dá suporte ao operador OFFSET de envio
  • [SPARK-39567] [SQL] Dê suporte a intervalos ANSI nas funções percentil
  • [SPARK-39383] [SQL] Dê suporte a colunas DEFAULT em ALTER TABLE ALTER COLUMNS para fontes de dados V2
  • [SPARK-39396] [SQL] Corrigir a exceção de logon LDAP 'código de erro 49 – credenciais inválidas'
  • [SPARK-39548][SQL] O comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada. Problema não encontrado
  • [SPARK-39575][AVRO] AdicionearByteBuffer#rewind após ByteBuffer#get no Avr…
  • [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se for feito o fallback para v1
  • [SPARK-39564] [SS] Exponha as informações da tabela de catálogo ao plano lógico na consulta de streaming
  • [SPARK-39582] [SQL] Corrija o marcador "Since" para array_agg
  • [SPARK-39388] [SQL] Reutilize orcSchema ao reduzir predicados Orc
  • [SPARK-39511] [SQL] Melhore o limite local de pushdown 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
  • [SPARK-38614] [SQL] Não fazer pushdown do limite pela janela que está usando percent_rank
  • [SPARK-39551] [SQL] Adicione verificação de plano inválido AQE
  • [SPARK-39383] [SQL] Dar suporte a colunas DEFAULT em ALTER TABLE ADD COLUMNS para fontes de dados V2
  • [SPARK-39538] [SQL] Evitar a criação de um agente SLF4J desnecessário
  • [SPARK-39383] [SQL] Backport manual para DBR 11.x: refatorar o suporte à coluna DEFAULT para ignorar a passagem do Analisador primário
  • [SPARK-39397] [SQL] Libere o AliasAwareOutputExpression para dar suporte a alias com expressão
  • [SPARK-39496] [SQL] Manipule struct nulo em Inline.eval
  • [SPARK-39545] [SQL] Substitua o método concat pelo ExpressionSet no Scala 2.13 para melhorar o desempenho
  • [SPARK-39340] [SQL] A propagação de agregação do DS v2 deve permitir pontos no nome das colunas de nível superior
  • [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
  • [SPARK-38846] [SQL] Adicione mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
  • [SPARK-39520] [SQL] Substitua o método -- pelo ExpressionSet no Scala 2.13
  • [SPARK-39470] [SQL] Dê suporte à conversão de intervalos ANSI para decimais
  • [SPARK-39477] [SQL] Remova informações de "Número de consultas" dos arquivos finais do SQLQueryTestSuite
  • [SPARK-39419][SQL] Corrija um erro em que ArraySort lança uma exceção quando o comparador retorna nulo
  • [SPARK-39061] [SQL] Definir um anulável corretamente para atributos de saída Inline
  • [SPARK-39320] [SQL] Dar suporte à função de agregação MEDIAN
  • [SPARK-39261] [CORE] Aprimorar a formatação de nova linha para mensagens de erro
  • [SPARK-39355][SQL] A coluna única usa aspas para construir UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
  • [SPARK-37623] [SQL] Dar suporte à função de agregação ANSI: regr_intercept
  • [SPARK-39374] [SQL] Aprimorar a mensagem de erro da lista de colunas especificada pelo usuário
  • [SPARK-39255] [SQL][3.3] Aprimorar as mensagens de erro
  • [SPARK-39321] [SQL] Refatorar TryCast para usar RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Aceitar a matriz NumPy em createDataFrame
  • [SPARK-39267] [SQL] Limpe o símbolo desnecessário de DSL
  • [SPARK-39171] [SQL] Unifique a expressão de Conversão
  • [SPARK-28330] [SQL] Dê suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
  • [SPARK-39203] [SQL] Regenere o local da tabela para URI absoluto com base no URI do banco de dados
  • [SPARK-39313] [SQL] toCatalystOrdering deverá falhar se V2Expression não puder ser traduzido
  • [SPARK-39301] [SQL][PYTHON] Aproveite LocalRelation e respeite o tamanho do lote do Arrow em createDataFrame com otimização do Arrow
  • [SPARK-39400] [SQL] spark-sql deve remover o diretório de recurso hive em todos os casos

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 clique 8.0.3
criptografia 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0.3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy 1.20.3 empacotando 21.0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 solicitações 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo CRAN da Microsoft em 15/08/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.0
bslib 0.4.0 cachem 1.0.6 callr 3.7.1
sinal de interpolação 6.0-93 cellranger 1.1.0 chron 2.3-57
classe 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellipsis 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.27.0 future.apply 1.9.0 gargle 1.2.0
Genéricos 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 elemento gráfico 4.1.3
grDevices 4.1.3 grade 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 highr 0,9 hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.39 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1,1 MASS 7.3-56 Matriz 1.4-1
memoise 2.0.1 methods 4.1.3 mgcv 1.8-40
mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
progress 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2.14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
scales 1.2.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 survival 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,40 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1