Databricks Runtime 11.3 LTS
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 11.3 LTS, da plataforma do Apache Spark 3.3.0. O Databricks lançou essa versão em outubro de 2022.
Observação
LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.
Dica
Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.
Alterações comportamentais
[Alteração significativa] A nova versão do Python requer a atualização de clientes Python do Databricks Connect V1
Para aplicar os patches de segurança necessários, a versão do Python no Databricks Runtime 11.3 LTS é atualizada de 3.9.5 para 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 para Python com o Databricks Runtime 11.3 LTS devem ser atualizados para o Python 3.9.7 ou posterior.
Novos recursos e aprimoramentos
- Gatilho de Streaming Estruturado depois de preterido
- Alterar o caminho de origem para o Carregador Automático
- O conector Kinesis do Databricks agora dá suporte à leitura de fluxos de dados do Kinesis no modo EFO
- Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3
- Novos recursos para E/S preditiva
- Aumento de partições iniciais para verificar se há consultas seletivas
- Visualização de novas versões de plano da AQE
- Novos modos de rastreamento de progresso assíncrono e limpeza de log
- Agora há suporte para o Streaming Estruturado no Catálogo do Unity
display() - Os eventos de pipeline agora estão conectados no formato JSON
- Processamento com estado arbitrário no Fluxo Estruturado com o Python
- Inferência de data nos arquivos CSV
- Suporte de clone para tabelas Apache Parquet e Apache Iceberg (Visualização Pública)
- Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity
Gatilho de Streaming Estruturado depois de preterido
A configuração Trigger.Once foi preterida. O Databricks recomenda que você use Trigger.AvailableNow. Confira Configurar intervalos de gatilho do Streaming Estruturado
Alterar o caminho de origem para o Carregador Automático
Agora você pode alterar o caminho de entrada do diretório para o Carregador Automático configurado com o modo de listagem de diretórios sem precisar escolher um novo diretório de ponto de verificação. Confira Alterar o caminho de origem do Carregador Automático.
O conector Kinesis do Databricks agora dá suporte à leitura de fluxos de dados do Kinesis no modo EFO
Agora você pode usar a fonte de streaming estruturado Kinesis do Databricks no Databricks Runtime 11.3 LTS para executar consultas que leem a partir de fluxos de dados do Kinesis no modo fan-out avançado. Isso permite taxa de transferência dedicada por fragmento, por consumidor e registro de entrega no modo push.
Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3
Apresentando quatro novas funções H3, h3_maxchild, h3_minchild, h3_pointash3 e h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Agora, todas as expressões H3 têm suporte no Photon. Confira Funções geoespaciais H3
Novos recursos para E/S preditiva
O Photon dá suporte ao modo de intervalo para a execução de quadros, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. O Photon também dá suporte ao modo de intervalo para quadros crescentes, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.
Aumento de partições iniciais para verificar se há consultas seletivas
O valor das partições iniciais a serem verificados foi aumentado para 10 para consulta seletiva com take/tail/limit em clusters habilitados para Photon e LIMIT no SQL do Databricks. Com 10 partições, você pode evitar a sobrecarga de iniciar vários trabalhos pequenos e uma escala vertical lenta. Você também pode configurar isso por meio de spark.sql.limit.selectiveInitialNumPartitions.
Visualização de novas versões de plano da AQE
Apresentando versões do plano do AQE que permitem visualizar as atualizações do plano de runtime da AQE (execução de consulta adaptável).
Novos modos de rastreamento de progresso assíncrono e limpeza de log
Introdução aos modos de Streaming estruturado chamados de acompanhamento de progresso assíncrono e limpeza de log assíncrono. O modo de limpeza de log assíncrono reduz a latência de consultas de streaming removendo logs usados para acompanhamento de progresso em segundo plano.
Agora há suporte para o Streaming Estruturado no Catálogo do Unity display()
Agora você pode usar display() quando usa o Streaming estruturado para trabalhar com tabelas registradas no Catálogo do Unity.
Os eventos de pipeline agora estão conectados no formato JSON
O Azure Databricks agora grava eventos de pipeline no log de driver no formato JSON. Embora cada evento seja analisável no JSON, grandes eventos podem não conter todos os campos ou os campos podem ser truncados. Cada evento é registrado em uma única linha com o prefixo Event received: . Este é um evento de exemplo.
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Processamento com estado arbitrário no Fluxo Estruturado com o Python
Introdução à função applyInPandasWithState que pode ser usada para executar processamento arbitrário com estado no PySpark. Isso é equivalente à função flatMapGroupsWithState na API Java.
Inferência de data nos arquivos CSV
Introduzindo uma inferência aprimorada de colunas de tipo de data em arquivos CSV. Quando o formato de data é consistente entre os registros de uma coluna, essas colunas podem ser inferidas como DateType. Você também pode ter uma combinação de formatos de data em diferentes colunas. O Azure Databricks pode inferir automaticamente o formato de data para cada coluna. As colunas de data nos arquivos CSV antes do Databricks Runtime 11.3 LTS são deixadas como StringType.
Suporte de clone para tabelas Apache Parquet e Apache Iceberg (Visualização Pública)
Agora, o clone pode ser usado para criar e atualizar incrementalmente tabelas Delta que espelham tabelas Apache Parquet e Apache Iceberg. Você pode atualizar sua tabela Parquet de origem e aplicar incrementalmente as alterações à tabela Delta clonada com o comando clone. Consulte Clonar incrementalmente tabelas Parquet e Iceberg no Delta Lake.
Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity
Agora você pode usar o comando SQL MANAGED LOCATION para especificar um local de armazenamento em nuvem para tabelas gerenciadas nos níveis de catálogo e esquema. Consulte CREATE CATALOG e CREATE SCHEMA.
Alterações de comportamento
Databricks Connect 11.3.2
A atualização 11.3.2 do cliente do Databricks Connect agora é suportada. Consulte o Databricks Connect e as notas sobre a versão do Databricks Connect.
Conector Snowflake do Azure Databricks atualizado
O conector Snowflake do Azure Databricks foi atualizado para a versão mais recente do código do repositório de código aberto, Fonte de dados Snowflake para Apache Spark. Agora ele é totalmente compatível com o Databricks Runtime 11.3 LTS, incluindo pushdown de predicado e pushdown do plano de consulta interno, mantendo todos os recursos da versão de código aberto.
Agora, o cache do Hadoop para S3A está desabilitado
O cache do Hadoop (FileSystem API Apache Hadoop Main 3.3.4) para S3A agora está desabilitado. Isso é para se alinhar com outros conectores de armazenamento em nuvem. Para cargas de trabalho que dependem do cache do sistema de arquivos, verifique se os sistemas de arquivos criados recentemente são fornecidos com as configurações corretas do Hadoop, incluindo provedores de credenciais.
O esquema de coleção de estatísticas do Delta Lake agora corresponde à ordem da coluna na definição do esquema de tabela
Essa alteração aborda um bug no protocolo Delta Lake em que as estatísticas não foram coletadas para colunas devido a uma incompatibilidade na ordenação de colunas do DataFrame e da tabela. Em alguns casos, você pode encontrar degradação de desempenho de gravação devido à coleção de estatísticas em campos não rastreados anteriormente. Consulte Ignorar dados no Delta Lake.
applyInPandasWithState gera um erro se a consulta tiver um embaralhamento após o operador
O operador applyInPandasWithState gera um erro se a consulta tiver shuffle após o operador. Isso acontece quando o usuário adiciona shuffle após a operação ou o otimizador ou o coletor adiciona shuffle implicitamente.
Atualizações da biblioteca
- Bibliotecas do Python atualizadas:
- distlib de 0.3.5 a 0.3.6
- Bibliotecas do R atualizadas:
- broom de 1.0.0 a 1.0.1
- callr de 3.7.1 a 3.7.2
- dplyr de 1.0.9 a 1.0.10
- dtplyr de 1.2.1 para 1.2.2
- forcats de 0.5.1 a 0.5.2
- future de 1.27.0 a 1.28.0
- future.apply de 1.9.0 a 1.9.1
- gert de 1.7.0 a 1.8.0
- globals de 0.16.0 a 0.16.1
- gtable de 0.3.0 a 0.3.1
- haven de 2.5.0 a 2.5.1
- hms de 1.1.1 para 1.1.2
- httr de 1.4.3 a 1.4.4
- knitr de 1.39 a 1.40
- modelr de 0.1.8 a 0.1.9
- pillar de 1.8.0 a 1.8.1
- progressr de 0.10.1 a 0.11.0
- readxl de 1.4.0 a 1.4.1
- reprex de 2.0.1 a 2.0.2
- rlang de 1.0.4 a 1.0.5
- rmarkdown de 2.14 a 2.16
- RSQLite de 2.2.15 a 2.2.16
- rstudioapi de 0.13 a 0.14
- rversions de 2.1.1 a 2.1.2
- rvest de 1.0.2 para 1.0.3
- scales de 1.2.0 a 1.2.1
- sparklyr de 1.7.7 a 1.7.8
- stringr de 1.4.0 a 1.4.1
- survival de 3.2-13 a 3.4-0
- tinytex de 0.40 a 0.41
- viridisLite de 0.4.0 a 0.4.1
- Bibliotecas do Java atualizadas:
- com.fasterxml.jackson.core.jackson-annotations de 2.13.3 a 2.13.4
- com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
- com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 a 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
- org.apache.hadoop.hadoop-client-api de 3.3.2-databricks a 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime de 3.3.2 a 3.3.4
- org.apache.orc.orc-core de 1.7.5 a 1.7.6
- org.apache.orc.orc-mapreduce de 1.7.5 a 1.7.6
- org.apache.orc.orc-shims de 1.7.5 a 1.7.6
- org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-common de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet de 2.34 a 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core de 2.34 a 2.36
- org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
- org.glassfish.jersey.core.jersey-common de 2.34 a 2.36
- org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
- org.glassfish.jersey.inject.jersey-hk2 de 2.34 a 2.36
Apache Spark
O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.2, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-39957] [WARMFIX][SC-111425][CORE] Atraso onDisconnected para habilitação O driver recebe ExecutorExitCode
- [SPARK-39955] [WARMFIX][SC-111424][CORE] Aprimorar o processo LaunchTask para evitar falhas na etapa causadas por mensagens LaunchTask que não forem enviadas
- [SPARK-40474] [SC-106248][Cherry-Pick] Comportamento correto de inferência do esquema CSV para colunas datetime e introdução de detecção automática para campos de data
- [SPARK-40535] [SC-111243][SQL] Corrigir bug o buffer de AggregatingAccumulator não será criado se as linhas de entrada estiverem vazias
- [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Implementar applyInPandasWithState no PySpark
- [SPARK-40460] [SC-110832][SS] Corrigir métricas de streaming ao selecionar
_metadata - [SPARK-40324] [SC-109943][SQL] Fornecer um contexto de consulta de
ParseException - [SPARK-40466] [SC-110899] [SS] Melhorar a mensagem de erro quando o DSv2 estiver desabilitado e o DSv1 não estiver disponível
- [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext deve ser barato para ser chamado repetidamente
- [SPARK-40169] [SC-110772][SQL] Não efetuar pushdown de filtros Parquet sem referência ao esquema de dados
- [SPARK-40467] [SC-110759][SS] Dividir FlatMapGroupsWithState em vários conjuntos de testes
- [SPARK-40468] [SC-110813][SQL] Corrigir a remoção de coluna no CSV quando _corrupt_record estiver selecionado
- [SPARK-40291] [SC-110085][SQL] Aprimorar a mensagem do erro a coluna não está no grupo pela cláusula
- [SPARK-40398] [SC-110762][CORE][SQL] Usar o loop em vez da API Arrays.stream
- [SPARK-40433] [SC-110684][SS][PYTHON] Adicionar a JVMRow no PythonSQLUtils para converter a linha PySpark processada pelo pickle em linha JVM
- [SPARK-40414] [SC-110568][SQL][PYTHON] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
- [SPARK-40352] [SC-109945][SQL] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
- [SPARK-40470] [SC-110761][SQL] Identificar GetArrayStructFields e GetMapValue na função "arrays_zip"
- [SPARK-40387] [SC-110685][SQL] Melhorar a implementação do Spark Decimal
- [SPARK-40429] [SC-110675][SQL] Definir KeyGroupedPartitioning somente quando a coluna referenciada estiver na saída
- [SPARK-40432] [SC-110716][SS][PYTHON] Introduzir GroupStateImpl e GroupStateTimeout no PySpark
- [SPARK-39915] [SC-110496][SQL] Verificar se o particionamento de saída é especificado pelo usuário no AQE
- [SPARK-29260] [SQL] Dar suporte a
ALTER DATABASE SET LOCATIONse o HMS der suporte - [SPARK-40185] [SC-110056][SQL] Remover sugestão de coluna quando a lista de candidatos estiver vazia
- [SPARK-40362] [SC-110401][SQL] Corrigir a canonicalização BinaryComparison
- [SPARK-40411] [SC-110381][SS] Refatorar FlatMapGroupsWithStateExec para ter uma característica pai
- [SPARK-40293] [SC-110084][SQL] Tornar a mensagem de erro da tabela V2 mais significativa
- [SPARK-38734] [SC-110383][SQL] Remover a classe de erro
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][SQL] Corrigir os nomes da coluna na função "arrays_zip" quando as matrizes forem referenciadas de structs aninhados
- [SPARK-40276] [SC-109674][CORE] Reduzir o tamanho do resultado de RDD.takeOrdered
- [SPARK-40197] [SC-109176][SQL] Substituir o plano de consulta pelo contexto para MULTI_VALUE_SUBQUERY_ERROR
- [SPARK-40300] [SC-109942][SQL] Migrar para a classe de erro
DATATYPE_MISMATCH - [SPARK-40149] [SC-110055][SQL] Propagar colunas de metadados pelo Projeto
- [SPARK-40280] [SC-110146][SQL] Adicionar suporte à propagação de parquet para int e long anotados
- [SPARK-40220] [SC-110143][SC-109175][SQL] Não gere o mapa vazio dos parâmetros da mensagem de erro
- [SPARK-40295] [SC-110070][SQL] Permitir funções v2 com argumentos literais na distribuição/ordenação de gravação
- [SPARK-40156] [SC-109264][SQL]
url_decode()caso retorne uma classe de erro - [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve anular a fase quando o arquivo confirmado não for consistente com o status da tarefa
- [SPARK-40260] [SC-109424][SQL] Usar classes de erro nos erros de compilação de GROUP BY uma posição
- [SPARK-40205] [SC-110144][SC-109082][SQL] Fornecer um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
- [SPARK-40112] [SC-109676][SQL] Melhorar a função TO_BINARY()
- [SPARK-40209] [SC-109081][SQL] Não alterar o valor do intervalo de Decimal em
changePrecision()nos erros - [SPARK-40319] [SC-109873][SQL] Remover método de erro de execução de consulta duplicado para PARSE_DATETIME_BY_NEW_PARSER
- [SPARK-40222] [SC-109209][SQL] try_add/try_divide/try_subtract/try_multiply numérico deve gerar erro de seus filhos
- [SPARK-40183] [SC-108907][SQL] Usar a classe de erro NUMERIC_VALUE_OUT_OF_RANGE para estouro na conversão decimal
- [SPARK-40180] [SC-109069][SQL] Formatar mensagens de erro por
spark-sql - [SPARK-40153] [SC-109165][SQL] Unificar as funções de resolução e funções com valor de tabela
- [SPARK-40308] [SC-109880][SQL] Permitir que argumentos delimitadores não dobráveis para
str_to_mapfuncionem - [SPARK-40219] [SC-110052][SC-109663][SQL] O plano lógico de exibição resolvido deve manter o esquema para evitar pesquisa redundante
- [SPARK-40098] [SC-109939][SC-108693][SQL] Formatar mensagens de erro no Thrift Server
- [SPARK-39917] [SC-109038][SQL] Usar classes de erro diferentes para estouro aritmético numérico/de intervalo
- [SPARK-40033] [SC-109875][SQL] Suporte à remoção de esquema aninhado por meio de element_at
- [SPARK-40194] [SC-109660][SQL] A função SPLIT na expressão regular vazia deve truncar a cadeia de caracteres vazia à direita.
- [SPARK-40228] [SC-109835][SQL] Não simplificar multiLike se filho não for uma expressão barata
- [SPARK-40039] [SC-109896][SC-109260][SS] Introduzindo um gerenciador de arquivos de ponto de verificação de streaming com base na interface anulável do Hadoop
- [SPARK-40285] [SC-109679][SQL] Simplificar o
roundTo[Numeric]para SparkDecimal - [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison deve funcionar quando o literal do downcast In/InSet falhou
- [SPARK-40040] [SC-109662][SQL] Efetuar push do limite local para ambos os lados se a condição de junção estiver vazia
- [SPARK-40055] [SC-109075][SQL] listCatalogs também devem retornar spark_catalog mesmo quando a implementação spark_catalog for defaultSessionCatalog
- [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) pode não criar partições N não AQE
- [SPARK-40207] [SC-109401][SQL] Especificar o nome da coluna quando o tipo de dados não for suportado pela fonte de dados
- [SPARK-40245] [SC-109295][SQL] Corrigir a verificação de igualdade FileScan quando colunas de partição ou filtro de dados não forem lidos
- [SPARK-40113] [SC-109405][SQL] Implementações da interface ParquetScanBuilder DataSourceV2 de reator
- [SPARK-40211] [SC-109226][CORE][SQL] Permitir a personalização do número de partições iniciais no comportamento take()
- [SPARK-40252] [SC-109379][SQL] Substituir
Stream.collect(Collectors.joining)pela APIStringJoiner - [SPARK-40247] [SC-109272][SQL] Corrigir a verificação de igualdade do BitSet
- [SPARK-40067] [SQL] Usar Table#name() em vez de Scan#name() para preencher o nome da tabela no nó BatchScan no SparkUI
- [SPARK-39966] [SQL] Usar o filtro V2 no SupportsDelete
- [SPARK-39607] [SC-109268][SQL][DSV2] A distribuição e ordenação dão suporte à função V2 por escrito
- [SPARK-40224] [SC-109271][SQL] Fazer com que ObjectHashAggregateExec libere a memória adiantadamente, quando voltar para baseado em classificação
- [SPARK-40013] [SQL] As expressões DS V2 devem ter o padrão
toString - [SPARK-40214] [SC-109079][PYTHON][SQL] adicionar 'get' às funções
- [SPARK-40192] [SC-109089][SQL][ML] Remover groupby redundante
- [SPARK-40146] [SC-108694][SQL] Simplificar a obtenção do valor do mapa pelo codegen
- [SPARK-40109] [SQL] Nova função SQL: get()
- [SPARK-39929] [SQL] O DS V2 dá suporte ao envio de funções de cadeia de caracteres (não ANSI)
- [SPARK-39819] [SQL] A propagação da agregação do DS V2 pode funcionar com Top N ou Paginação (Classificar com expressões)
- [SPARK-40213] [SC-109077][SQL] Suporte à conversão de valor ASCII para caracteres Latino-1
- [SPARK-39887] [SQL] RemoveRedundantAliases deve manter os aliases que tornam a saída de nós de projeção exclusiva
- [SPARK-39764] [SQL] Tornar PhysicalOperation igual a ScanOperation
- [SPARK-39964] [SQL] O pushdown do DS V2 deve unificar o caminho da conversão
- [SPARK-39528] [SQL] Usar o filtro V2 em SupportsRuntimeFiltering
- [SPARK-40066] [SQL] Modo ANSI: sempre retornar nulo no acesso inválido à coluna do mapa
- [SPARK-39912] [SPARK-39828][SQL] Refinar CatalogImpl
- [SPARK-39833] [SC-108736][SQL] Desabilitar o índice da coluna Parquet no DSv1 para corrigir um problema de correção no caso de partição sobreposta e colunas de dados
- [SPARK-39880] [SQL] O comando SHOW FUNCTIONS V2 deve imprimir o nome da função qualificada, como v1
- [SPARK-39767] [SQL] Remover UnresolvedDBObjectName e adicionar UnresolvedIdentifier
- [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
- [SPARK-40136] [SQL] Corrigir o fragmento dos contextos de consulta SQL
- [SPARK-40107] [SC-108689][SQL] Efetuar pull da conversão empty2null do FileFormatWriter
- [SPARK-40121] [PYTHON][SQL] Inicializar a projeção usada para a UDF do Python
- [SPARK-40128] [SQL] Fazer com que VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação de coluna autônoma
- [SPARK-40132] [ML] Restaurar rawPredictionCol para MultilayerPerceptronClassifier.setParams
- [SPARK-40050] [SC-108696][SQL] Aprimorar
EliminateSortspara dar suporte à remoção de classificações por meio deLocalLimit - [SPARK-39629] [SQL] Dar suporte a SHOW FUNCTIONS v2
- [SPARK-39925] [SC-108734][SQL] Adicionar sobrecarga array_sort(column, comparator) às operações do DataFrame
- [SPARK-40117] [PYTHON][SQL] Converter a condição para java em DataFrameWriterV2.overwrite
- [SPARK-40105] [SQL] Aprimorar a repartição em ReplaceCTERefWithRepartition
- [SPARK-39503] [SQL] Adicionar o nome do catálogo da sessão para tabela e função de banco de dados v1
- [SPARK-39889] [SQL] Usar classes de erro diferentes para numérico/intervalo dividido por 0
- [SPARK-39741] [SQL] Dar suporte à codificação/decodificação de URL como função interna e arrumar funções relacionadas à URL
- [SPARK-40102] [SQL] Usar SparkException em vez de IllegalStateException no SparkPlan
- [SPARK-40014] [SQL] Dê suporte à conversão de decimais para intervalos ANSI
- [SPARK-39776] [SQL][FOLLOW] Atualizar UT de PlanStabilitySuite no modo ANSI
- [SPARK-39963] [SQL] Simplificar
SimplifyCasts.isWiderCast
Atualizações de manutenção
Confira Atualizações de manutenção do Databricks Runtime 11.3.
Ambiente do sistema
- Sistema operacional: Ubuntu 20.04.5 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python 3.9.19.
- R: 4.1.3
- Delta Lake: 2.1.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | async-generator | 1,10 | attrs | 21.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | black | 22.3.0 |
| bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | clique | 8.0.3 | criptografia | 3.4.8 |
| cycler | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | entrypoints | 0.3 | facets-overview | 1.0.0 |
| filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | notebook | 6.4.5 | numpy | 1.20.3 |
| empacotando | 21.0 | pandas | 1.3.4 | pandocfilters | 1.4.3 |
| parso | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser | 2,20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | solicitações | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
Bibliotecas R instaladas
As bibliotecas R foram instaladas por meio do instantâneo CRAN da Microsoft em 08/09/2022.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.1 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.2 |
| sinal de interpolação | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| classe | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credenciais | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | conjuntos de dados | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
| Genéricos | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.1 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | elemento gráfico | 4.1.3 |
| grDevices | 4.1.3 | grade | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| haven | 2.5.1 | highr | 0,9 | hms | 1.1.2 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | ciclo de vida | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1,1 | MASS | 7.3-56 | Matriz | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progress | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0,14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| scales | 1.2.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | survival | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0,41 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0,32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)
| ID do Grupo | Artifact ID | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1,1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | coletor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1,2 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,2 |
| org.scalanlp | breeze_2.12 | 1,2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |