Compartilhar via

Databricks Runtime 12.0 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 12.0, da plataforma Apache Spark 3.3.1.

O Databricks lançou essa versão em dezembro de 2022.

Novos recursos e aprimoramentos

E/S preditiva está em GA

A E/S preditiva agora está em disponibilidade geral. Para obter mais informações, consulte O que é E/S preditiva?.

O gravador do Photon dá suporte à compactação zstd

O gravador nativo do Photon agora dá suporte ao codec de compactação zstd quando o zstd é habilitado definindo spark.sql.parquet.compression.codec como zstd.

Suporte para o perfil de recurso da tarefa em nível de fase para clusters autônomos

Agora é possível usar o agendamento em nível de fase em clusters autônomos quando a alocação dinâmica está desabilitada. Para usar esse recurso, especifique os recursos de tarefa com ResourceProfileBuilder para cada fase.

Suporte de SQL para substituição seletiva com REPLACE WHERE

Agora é possível substituir seletivamente dados correspondentes a uma expressão arbitrária em uma tabela Delta usando o padrão a seguir.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Confira Substituição seletiva arbitrária com replaceWhere.

As marcas d'água agora são suportadas pelo SQL

Agora é possível especificar marcas d'água usando a interface SQL das Tabelas Dinâmicas Delta e em consultas SQL com relação a DataFrames de streaming. Confira Cláusula WATERMARK.

Criação de perfil de memória do PySpark

A criação de perfil de memória agora está habilitada para funções definidas pelo usuário do PySpark. Com isso, é possível obter informações sobre incremento de memória, uso de memória e número de ocorrências de cada linha de código em uma função definida pelo usuário.

Remoção dinâmica para DELETE e UPDATE

Ao usar a computação habilitada para Photon, DELETE e UPDATE agora usam a remoção dinâmica de arquivo e a partição onde é possível melhorar o desempenho. Por exemplo, a remoção dinâmica é habilitada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.

Métricas de exclusão no nível da linha para operações de linguagem de manipulação de dados particionados

Com predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de DML (linguagem de manipulação de dados), como DELETE, TRUNCATE e replaceWhere.

Correções de bug

Correção de um problema com a análise JSON no Carregador Automático em que todas as colunas eram deixadas como cadeias de caracteres. Anteriormente, cloudFiles.inferColumnTypes não era configurado ou era definido como false e o JSON continha objetos aninhados.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • argon2-cffi de 20.1.0 para 21.3.0
    • attrs de 21.2.0 para 21.4.0
    • backports.entry-points-selectable de 1.1.1 para 1.2.0
    • bleach de 4.0.0 para 4.1.0
    • boto3 de 1.21.18 para 1.21.32
    • botocore de 1.24.18 para 1.24.32
    • cffi de 1.14.6 para 1.15.0
    • click de 8.0.3 para 8.0.4
    • cycler de 0.10.0 para 0.11.0
    • Cython de 0.29.24 para 0.29.28
    • debugpy de 1.4.1 para 1.5.1
    • decorator de 5.1.0 para 5.1.1
    • entrypoints de 0.3 para 0.4
    • idna de 3.2 para 3.3
    • ipykernel de 6.12.1 para 6.15.3
    • ipython de 7.32.0 para 8.5.0
    • ipywidgets de 7.7.0 para 7.7.2
    • jedi de 0.18.0 para 0.18.1
    • joblib de 1.0.1 para 1.1.0
    • jsonschema de 3.2.0 para 4.4.0
    • kiwisolver de 1.3.1 para 1.3.2
    • matplotlib de 3.4.3 para 3.5.1
    • nbclient de 0.5.3 para 0.5.13
    • nbconvert de 6.1.0 para 6.4.4
    • nbformat de 5.1.3 para 5.3.0
    • nest-asyncio de 1.5.1 para 1.5.5
    • notebook de 6.4.5 para 6.4.8
    • numpy de 1.20.3 para 1.21.5
    • packaging de 21.0 para 21.3
    • pandas de 1.3.4 para 1.4.2
    • pandocfilters de 1.4.3 para 1.5.0
    • parso de 0.8.2 para 0.8.3
    • Pillow de 8.4.0 para 9.0.1
    • platformdirs de 2.5.2 para 2.5.4
    • plotly de 5.9.0 para 5.6.0
    • prometheus-client de 0.11.0 para 0.13.1
    • protobuf de 4.21.5 para 3.19.4
    • pycparser de 2.20 para 2.21
    • Pygments de 2.10.0 para 2.11.2
    • pyodbc de 4.0.31 para 4.0.32
    • pyzmq de 22.2.1 para 22.3.0
    • requests de 2.26.0 para 2.27.1
    • s3transfer de 0.5.2 para 0.5.0
    • scikit-learn de 0.24.2 para 1.0.2
    • scipy de 1.7.1 para 1.7.3
    • statsmodels de 0.12.2 para 0.13.2
    • terminado de 0.9.4 para 0.13.1
    • tomli de 2.0.1 para 1.2.2
    • traitlets de 5.1.0 para 5.1.1
    • urllib3 de 1.26.7 para 1.26.9
    • widgetsnbextension de 3.6.0 para 3.6.1
  • Bibliotecas do R atualizadas:
    • base de 4.1.3 para 4.2.2
    • brew de 1.0-7 para 1.0-8
    • bslib de 0.4.0 para 0.4.1
    • callr de 3.7.2 para 3.7.3
    • chron de 2.3-57 para 2.3-58
    • cli de 3.3.0 para 3.4.1
    • cluster de 2.1.3 para 2.1.4
    • commonmark de 1.8.0 para 1.8.1
    • compiler de 4.1.3 para 4.2.2
    • cpp11 de 0.4.2 para 0.4.3
    • crayon de 1.5.1 para 1.5.2
    • curl de 4.3.2 para 4.3.3
    • data.table de 1.14.2 para 1.14.4
    • datasets de 4.1.3 para 4.2.2
    • desc de 1.4.1 para 1.4.2
    • devtools de 2.4.4 para 2.4.5
    • digest de 0.6.29 para 0.6.30
    • e1071 de 1.7-11 para 1.7-12
    • evaluate de 0.16 para 0.18
    • fontawesome de 0.3.0 para 0.4.0
    • future de 1.28.0 para 1.29.0
    • future.apply de 1.9.1 para 1.10.0
    • gargle de 1.2.0 para 1.2.1
    • gert de 1.8.0 para 1.9.1
    • ggplot2 de 3.3.6 para 3.4.0
    • gh de 1.3.0 para 1.3.1
    • gitcreds de 0.1.1 para 0.1.2
    • graphics de 4.1.3 para 4.2.2
    • grDevices de 4.1.3 para 4.2.2
    • grid de 4.1.3 para 4.2.2
    • httpuv de 1.6.5 para 1.6.6
    • isoband de 0.2.5 para 0.2.6
    • jsonlite de 1.8.0 para 1.8.3
    • lava de 1.6.10 para 1.7.0
    • lifecycle de 1.0.1 para 1.0.3
    • lubridate de 1.8.0 para 1.9.0
    • markdown de 1.1 para 1.3
    • MASS de 7.3-56 para 7.3-58
    • Matrix de 1.4-1 para 1.5-1
    • methods de 4.1.3 para 4.2.2
    • mgcv de 1.8-40 para 1.8-41
    • nlme de 3.1-157 para 3.1-160
    • nnet de 7.3-17 para 7.3-18
    • openssl de 2.0.2 para 2.0.4
    • parallel de 4.1.3 para 4.2.2
    • pkgload de 1.3.0 para 1.3.1
    • processx de 3.7.0 para 3.8.0
    • ps de 1.7.1 para 1.7.2
    • purrr de 0.3.4 para 0.3.5
    • ragg de 1.2.2 para 1.2.4
    • RcppEigen de 0.3.3.9.2 para 0.3.3.9.3
    • readr de 2.1.2 para 2.1.3
    • recipes de 1.0.1 para 1.0.3
    • rlang de 1.0.5 para 1.0.6
    • rmarkdown de 2.16 para 2.18
    • rpart de 4.1.16 para 4.1.19
    • RSQLite de 2.2.16 para 2.2.18
    • shiny de 1.7.2 para 1.7.3
    • SparkR de 3.3.0 a 3.3.1
    • splines de 4.1.3 para 4.2.2
    • stats de 4.1.3 para 4.2.2
    • stats4 de 4.1.3 para 4.2.2
    • sys de 3.4 para 3.4.1
    • tcltk de 4.1.3 para 4.2.2
    • testthat de 3.1.4 para 3.1.5
    • tidyr de 1.2.0 para 1.2.1
    • tidyselect de 1.1.2 para 1.2.0
    • timeDate de 4021.104 para 4021.106
    • tinytex de 0.41 para 0.42
    • tools de 4.1.3 para 4.2.2
    • utils de 4.1.3 para 4.2.2
    • vctrs de 0.4.1 para 0.5.0
    • vroom de 1.5.7 para 1.6.0
    • xfun de 0.32 para 0.34
    • yaml de 2.3.5 para 2.3.6
    • zip de 2.2.0 para 2.2.2
  • Bibliotecas do Java atualizadas:
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 para 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 para 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations de 0.5.0 para 0.13.0

Apache Spark

O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark que estão incluídas no Databricks Runtime 11.3 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Reverter “[SC-113542][SS] Inverter o valor padrão da configuração de busca de deslocamento do Kafka”
  • [SPARK-40646] [SC-116061] Reverter “[SC-113379][SQL] Corrigir o retorno de resultados parciais na fonte de dados JSON e em funções JSON”
  • [SPARK-41195] [SC-116305][SQL] Suporte a PIVOT/UNPIVOT com junção de elementos filho
  • [SPARK-41178] [SC-116139][SQL] Corrigir a precedência da regra do analisador entre JOIN e vírgula
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] Adicionar a classe de erro STREAM_FAILED a StreamingQueryException
  • [SPARK-40921] Reverter “[SC-115140][SC-114585][SQL] Adicionar cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet
  • [SPARK-41055] [SC-115582][SQL] Renomear _LEGACY_ERROR_TEMP_2424 como GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] Suporte de nome de classe de mensagem para PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalente de SQL para o comando de substituição de DataFrame
  • [SPARK-41095] [SC-115659][SQL] Converter operadores não resolvidos em erros internos
  • [SPARK-41144] [SC-115866][SQL] Uma dica não resolvida não deve causar falha na consulta
  • [SPARK-41137] [SC-115858][SQL] Renomear LATERAL_JOIN_OF_TYPE como INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_0040 como INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] Verificação nula de UnitTest para o gerador de dados
  • [SPARK-40769] [SC-114923][CORE][SQL] Migrar falhas de verificação de tipo de expressões agregadas para classes de erro
  • [SPARK-41043] [SC-115183][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_2429 como NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Suporte à importação de Protobuf e classes de erro de movimentação.
  • [SPARK-41019] [SC-114987][SQL] Fornecer um contexto de consulta para failAnalysis()
  • [SPARK-41027] [SC-115131][SQL] Usar UNEXPECTED_INPUT_TYPE em vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] Reduzir o tamanho da ordem aleatória do ALS
  • [SPARK-41134] [SC-115851][SQL] Melhorar a mensagem de erro para erros internos
  • [SPARK-37980] Reverter ” [SQL] Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet
  • [SPARK-41109] [SC-115788][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_1216 como INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][CORE][SQL] Usar NON_FOLDABLE_INPUT em vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][SQL] Otimizar o uso de GenericArrayData pelo construtor no Scala 2.13
  • [SPARK-40697] [SC-113648][SQL] Adicionar o preenchimento de caracteres da leitura para abranger arquivos de dados externos
  • [SPARK-40978] [SC-114574][SQL] Migrar failAnalysis() sem um contexto para classes de erro
  • [SPARK-40663] [SC-114586][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2: dar suporte à filtragem de grupo de runtime em comandos no nível de linha
  • [SPARK-40372] [SC-115668][SQL] Migrar falhas de verificações de tipo de matriz para classes de erro
  • [SPARK-41038] [SC-115371][SQL] Renomear MULTI_VALUE_SUBQUERY_ERROR como SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_1208 como FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][SQL] Migrar falhas de verificação de tipo de condições para classes de erro
  • [SPARK-40371] [SC-114557][SQL] Migrar falhas de verificação de tipo de NthValue e NTile para classes de erro
  • [SPARK-41092] [SC-115547][SQL] Não usar um identificador para corresponder unidades de intervalo
  • [SPARK-41009] [SC-115360][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_1070 como LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet
  • [SPARK-40967] [SC-114448][SQL] Migrar failAnalysis() para classes de erro
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] Instrumentar UDFs do Python usando métricas de SQL
  • [SPARK-41012] [SC-114873][SQL] Renomear _LEGACY_ERROR_TEMP_1022 como ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][SQL] Renomear PARSE_CHAR_MISSING_LENGTH como DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][SQL] Migrar falhas de verificação de tipo de expressões diversas para classes de erro
  • [SPARK-37945] [SC-115534][SQL][CORE] Usar classes de erro nos erros de execução de operações aritméticas
  • [SPARK-40374] [SC-114705][SQL] Migrar falhas de verificação de tipo de criadores de tipo para classes de erro
  • [SPARK-41056] [SC-115354][R] Corrigir um novo comportamento R_LIBS_SITE introduzido no R 4.2
  • [SPARK-41041] [SC-115357][SQL] Integrar _LEGACY_ERROR_TEMP_1279 a TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_1019 como STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][SQL] Não corrigir filhos dobráveis de funções de agregação em RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][SQL] Melhorar classes e mensagens de erro
  • [SPARK-40798] [SC-113782][SQL] A alteração de partição deve verificar o valor que segue storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][SQL] Usar SparkIllegalArgumentException em vez de IllegalArgumentException no CreateDatabaseCommand e AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][SC-114585][SQL] Adicionar a cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO
  • [SPARK-40360] [SC-114965] Exceções ALREADY_EXISTS e NOT_FOUND
  • [SPARK-41007] [SC-115085][SQL] Adicionar serializador ausente para java.math.BigInteger
  • [SPARK-40751] [SC-114254][SQL] Migrar falhas de verificação de tipo de funções de alta ordem para classes de erro
  • [SPARK-40248] [SC-114704][SQL] Usar um número maior de bits para criar o filtro Bloom
  • [SPARK-41040] [SC-115145][SS] Corrigir a falha de consulta de streaming de união automática ao usar readStream.table
  • [SPARK-32380] [SC-114966][SQL] Corrigir o acesso da tabela HBase por meio do Hive do Spark
  • [SPARK-40749] [SC-114860][SQL] Migrar falhas de verificação de tipo de geradores para classes de erro
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] Corrigir o operador com estado com relação ao atraso de…
  • [SPARK-40654] [SC-112783] Remover linhas de log temporárias
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] Corrigir avisos de compilação Java relacionados a um tipo genérico
  • [SPARK-40657] [SC-113642][Cherry-pick] Adicionar suporte para classes Java no Protob…
  • [SPARK-40898] [SC-113932][SQL] Nomes de função de citação em erros de incompatibilidade de tipo de dados
  • [SPARK-40760] [SC-113750][SQL] Migrar falhas de verificação de tipo de expressões de intervalo para classes de erro
  • [SPARK-36114] [SC-113771][SQL] Dar suporte a subconsultas com predicados de não igualdade correlacionados
  • [SPARK-40856] [SC-113738][SQL] Atualizar o modelo de erro de WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][SQL] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
  • [SPARK-40750] [SC-113812][SQL] Migrar falhas de verificação de tipo de expressões matemáticas para classes de erro
  • [SPARK-40756] [SC-113749][SQL] Migrar falhas de verificação de tipo de expressões de cadeia de caracteres para classes de erro
  • [SPARK-40768] [SC-113640][SQL] Migrar falhas de verificação de tipo de bloom_filter_agg() para classes de erro
  • [SPARK-40369] [SC-113402][CORE][SQL] Migrar falhas de verificação de tipo de chamadas por meio de reflexão para classes de erro
  • [SPARK-39445] [SQL] Remover a janela quando windowExpressions estiver vazio na remoção de coluna
  • [SPARK-40761] [SC-113245][SQL] Migrar falhas de verificação de tipo de expressões de percentil para classes de erro
  • [SPARK-40361] [SC-112789][SQL] Migrar falhas de verificação de tipo aritmético para classes de erro
  • [SPARK-40714] [SC-112576][SQL] Remover PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][SQL] Corrigir especificações de partição em PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][SQL] Migrar falhas de verificação de tipo de coleção para classes de erro
  • [SPARK-40910] [SC-114259][SQL] Substituir UnsupportedOperationException por SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][SQL] Adicionar UNPIVOT à sintaxe SQL
  • [SPARK-39783] [SC-113389][SQL] Citar qualifiedName para corrigir acentos graves para candidatos de coluna em mensagens de erro
  • [SPARK-40663] [SC-112520][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] Renomear a classe de erro _LEGACY_ERROR_TEMP_0021 como UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][SQL] Eliminar campos separados de subclasses de erro
  • [SPARK-40944] [SC-114530][SQL] Relaxar a restrição de ordem para as opções de coluna CREATE TABLE
  • [SPARK-40815] [SC-114528][SQL] Adicionar DelegateSymlinkTextInputFormat ao bug SymlinkTextInputSplit de solução alternativa
  • [SPARK-40933] [SC-114441][SQL] Implementar novamente df.stat.{cov, corr} com as funções integradas de SQL
  • [SPARK-40932] [SC-114439][CORE] As mensagens de correção de problema de allGather foram substituídas
  • [SPARK-39312] [SQL] Usar Parquet nativo no predicado para o filtro de propagação
  • [SPARK-40862] [SC-114352][SQL] Dar suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][SQL] Definir anulável corretamente no projeto criado por ExtractGenerator
  • [SPARK-40663] [SC-112295][SQL] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] Flexibilizar a exigência de window_time rule: permitir diversas chamadas window_time
  • [SPARK-40540] [SC-111639][SQL] Migrar erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] Correção para Unhex quando a entrada tem um número ímpar de símbolos
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] Introduzir a função window_time para extrair a hora do evento da coluna da janela
  • [SPARK-40800] [SC-113772][SQL] Sempre integrar expressões em OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][SQL] Implementar frequentItems novamente com operações de DataFrame
  • [SPARK-40735] [SC-114022][SC-112657] Invocar consistentemente bash com /usr/bin/env bash em scripts para tornar o código mais portátil
  • [SPARK-40773] [SC-113091][SQL] Refatorar checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][SQL] Verificar os tipos de dados não compatíveis ao descorrelacionar subconsultas
  • [SPARK-40660] [SC-112293][CORE][SQL] Mudar para XORShiftRandom a fim de distribuir elementos
  • [SPARK-40540] [SC-113926][SC-111331][SQL] Migrar erros de compilação para classes de erro
  • [SPARK-40551] [SC-113135][SQL] DataSource V2: adicionar APIs para operações em nível de linha baseadas em Delta
  • [SPARK-39391] [SC-110676][CORE] Reutilizar as classes de particionador
  • [SPARK-40368] [SC-113396][SQL] Migrar falhas de verificação de tipo de Bloom Filter para classes de erro
  • [SPARK-39146] [SC-111814][CORE][SQL] Introduzir um banco de dados individual local para ObjectMapper que possa ser reutilizado
  • [SPARK-40357] [SC-113786][SC-111352][SQL] Migrar falhas de verificação de tipo de janela para classes de erro
  • [SPARK-40874] [SC-113756][PYTHON] Corrigir transmissões em UDFs do Python quando a criptografia está habilitada
  • [SPARK-40359] [SC-113770][SC-111146][SQL] A verificação do tipo de migração falha em expressões CSV/JSON para classes de erro
  • [SPARK-40880] [SC-113764][SQL] Implementar summary novamente com operações de DataFrame
  • [SPARK-40877] [SC-113763][SQL] Implementar crosstab novamente com operações de DataFrame
  • [SPARK-40382] [SC-113098][SQL] Agrupar expressões agregadas distintas por filhos semanticamente equivalentes em RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][SS] Adicionar uma verificação de arquivo de renomeação de ponto de verificação adicional
  • [SPARK-40829] [SC-113426][SQL] O SerDe STORED AS na exibição CREATE TABLE LIKE não funciona
  • [SPARK-40844] [SC-113542][SS] Inverter o valor padrão da configuração de busca de deslocamento do Kafka
  • [SPARK-40488] [SC-113568][SC-111160] Não encapsular exceções lançadas quando a gravação da fonte de dados falha
  • [SPARK-40560] [SC-113631][SC-111335][SQL] Renomear message como messageTemplate no formato STANDARD de erros
  • [SPARK-40618] [SC-113096][SQL] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando o rastreamento de referência
  • [SPARK-40530] [SC-113528][SC-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
  • [SPARK-40806] [SC-113250][SQL] Corrigir erro de digitação: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] Corrigir o retorno de resultados parciais na fonte de dados JSON e em funções JSON
  • [SPARK-40654] [Cherry-pick][SC-112783][SQL] Suporte de Protobuf para Spark - de…
  • [SPARK-40753] [SC-113539][SQL] Corrigir bug no caso de teste para a operação de diretório de catálogo
  • [SPARK-40765] [SC-113056][SQL] Otimizar a operação fs redundante no método CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][R][11.X] Suporte a Arrow 9.0.0 com SparkR
  • [SPARK-40479] [SC-110935][SQL] Migrar erro de tipo de entrada inesperado para uma classe de erro
  • [SPARK-40473] [SC-113388][SC-111141][SQL] Migrar erros de análise para classes de erro
  • [SPARK-39853] [SC-111867][CORE] Suporte ao perfil de recurso da tarefa de nível de fase para cluster autônomo quando a alocação dinâmica está desabilitada (porta traseira de PR-47157)
  • [SPARK-40407] [SC-111161][SQL] Corrigir a possível distorção de dados causada por df.repartition
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE não precisa fazer pesquisas de tabela
  • [SPARK-40703] [SC-113242][SQL] Introduzir ordem aleatória em SinglePartition para melhorar o paralelismo
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil para definir a origem das opções de configuração do Hadoop/Hive
  • [SPARK-39062] [11.x][CORE] Adicionar suporte ao agendamento de recursos em nível de fase para cluster autônomo
  • [SPARK-33861] [SC-109877]Reverter “[SQL] Simplificar condicional no predicado”
  • [SPARK-40667] [SC-113136][SQL] Refatorar opções de fonte de dados de arquivo
  • [SPARK-40370] [SC-110677][SQL] Migrar falhas de verificação de tipo para classes de erro em CAST
  • [SPARK-40611] [SC-113105][SQL] Melhorar o desempenho de setInterval e getInterval para UnsafeRow
  • [SPARK-40733] [SC-113126][SQL] Fazer com que o conteúdo de SERDEPROPERTIES no resultado de ShowCreateTableAsSerdeCommand tenha uma ordem fixa
  • [SPARK-40585] [SC-112180][SQL] Dar suporte a identificadores entre aspas duplas
  • [SPARK-40772] [SC-112992][SQL] Aprimorar spark.sql.adaptive.skewJoin.skewedPartitionFactor para dar suporte aos valores de Double
  • [SPARK-40565] [SC-112417][SQL] Não enviar filtros não determinísticos para fontes de arquivo da V2
  • [SPARK-8731] [SC-112784] O Beeline não funciona com a opção -e quando é iniciado em segundo plano
  • [SPARK-35242] [SC-111398][SQL] Dar suporte à alteração do banco de dados padrão do catálogo de sessão
  • [SPARK-40426] [SC-110672][SQL] Retornar um mapa de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] Otimizar o desempenho do padrão de código keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][SQL] Retornar somente partições existentes em PartitionsAlreadyExistException da partição de criação do Hive
  • [SPARK-40705] [SC-112567][SQL] Lidar com o caso de uso da matriz mutável ao converter uma linha em JSON com relação ao Scala 2.13
  • [SPARK-39895] [SC-112590][SQL][PYTHON] Suporte à remoção de diversas colunas
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] Remover operações redundantes do interpolador de cadeia de caracteres
  • [SPARK-40420] [SC-112604][SC-110569][SQL] Classificar os parâmetros da mensagem de erro por nomes nos formatos JSON
  • [SPARK-40403] [SC-110564][SQL] Calcular o tamanho de matriz inseguro usando longs para evitar um tamanho negativo em mensagens de erro
  • [SPARK-40482] [SC-110831][SQL] Reverter SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][SC-110397][SQL] Transmitir parâmetros de mensagem de erro para exceções como mapas
  • [SPARK-40628] [SC-112414][SQL] Não fazer push de uma condição semi/anti-junção esquerda complexa através do projeto
  • [SPARK-40562] [SC-111455][SQL] Adicionar spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][SQL] Adicionar PushProjectionThroughLimit para Optimizer
  • [SPARK-39200] [SC-111244][CORE] Tornar o armazenamento de fallback readFully no conteúdo
  • [SPARK-38717] [SC-111241][SQL] Lidar com o comportamento de preservação de maiúsculas e minúsculas nas especificações do bucket do Hive
  • [SPARK-40385] [SC-111123][SQL] Corrigir do caminho interpretado para o construtor de objeto complementar
  • [SPARK-40216] [SC-112413][SQL] Extrair o método comum ParquetUtils.prepareWrite para deduplicar o código em ParquetFileFormat e em ParquetWrite
  • [SPARK-40636] [SC-112160][CORE] Corrigir o logon incorreto em ordens aleatórias remanescentes em BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corrigir a condição de corrida ao lidar com as entradas stageTCMP de ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][SQL] Corrigir o bug na regra MergeScalarSubqueries com subconsultas aninhadas
  • [SPARK-40612] [SC-111933][CORE] Corrigir a entidade de segurança usada para renovação de token de delegação em gerenciadores de recursos não YARN
  • [SPARK-40595] [SC-111662][SQL] Melhorar a mensagem de erro para relações CTE não utilizadas
  • [SPARK-40314] [SC-111879][SQL][PYTHON] Adicionar ligações do Scala e do Python para inline e inline_outer
  • [SPARK-40416] [SC-110945][SQL] Mover as mensagens de erro CheckAnalysis da expressão de subconsulta para usar a nova estrutura de erro
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() deve lançar as exceções de seu filho
  • [SPARK-40509] [SC-111644][SS][PYTHON] Adicionar um exemplo para applyInPandasWithState
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() deve lançar as exceções de seu filho
  • [SPARK-40016] [SQL] Remover o TryEval desnecessário na implementação de try_sum()
  • [SPARK-40527] [SC-111224][SQL] Manter nomes de campo de struct ou chaves de mapa em CreateStruct
  • [SPARK-38098] [SC-111178][PYTHON] Adicionar suporte para o ArrayType de StructType aninhado com relação à conversão baseada em seta
  • [SPARK-40324] [SC-111359][SC-110293][SQL] Fornecer contexto de consulta em AnalysisException
  • [SPARK-40492] [SC-111324][SS] Fazer a manutenção antes de transmitir o descarregamento de StateStore
  • [SPARK-40487] [SC-111124][SQL] Fazer defaultJoin em BroadcastNestedLoopJoinExec com execução em paralelo
  • [SPARK-40474] [SC-111273][SQL] Inferência de esquema CSV correta e comportamento de análise de dados em colunas com datas e carimbos de data/hora mistos
  • [SPARK-40508] [SC-111066][SQL] Tratar particionamentos desconhecidos como UnknownPartitioning
  • [SPARK-40496] [SC-111234][SC-111013][SQL] Corrigir configurações para controlar “enableDateTimeParsingFallback”
  • [SPARK-40435] [SC-111214][SS][PYTHON] Adicionar conjuntos de testes para applyInPandasWithState no PySpark
  • [SPARK-40434] [SC-111125][SS][PYTHON] Implementar applyInPandasWithState no PySpark

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 12.0.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
clique 8.0.4 criptografia 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0,4 em execução 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notebook 6.4.8 numpy 1.21.5 empacotando 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 solicitações 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 11/11/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 askpass 1,1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 sinal de interpolação 6.0-93 cellranger 1.1.0
chron 2.3-58 classe 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credenciais 1.3.2 curl 4.3.3
data.table 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 evaluate 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 Genéricos 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 elemento gráfico 4.2.2 grDevices 4.2.2
grade 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1,3
MASS 7.3-58 Matriz 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0,42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1