Partilhar via

Databricks Runtime 12.0 (EoS)

Observação

O suporte para esta versão do Databricks Runtime terminou. Para a data de fim de suporte, consulte Fim de suporte e histórico de fim de vida útil. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.0, desenvolvido pelo Apache Spark 3.3.1.

A Databricks lançou esta versão em dezembro de 2022.

Novos recursos e melhorias

A E/S preditiva está em Disponibilidade Geral

A E/S preditiva está agora disponível para o público em geral. Para obter mais informações, consulte O que é E/S preditiva?.

Photon writer suporta compressão zstd

O Photon native writer agora suporta o codec de compressão zstd quando zstd é ativado ao definir spark.sql.parquet.compression.codec para zstd.

Suporte para perfil de recurso de tarefa em nível de estágio para clusters autônomos

Agora você pode usar o agendamento em nível de estágio em clusters autônomos quando a alocação dinâmica estiver desabilitada. Para usar esse recurso, especifique os recursos da tarefa com ResourceProfileBuilder para cada estágio.

Suporte SQL para substituição seletiva com REPLACE WHERE

Agora você pode substituir seletivamente os dados correspondentes a uma expressão arbitrária em uma tabela Delta usando o seguinte padrão.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Consulte Substituição seletiva arbitrária com replaceWhere.

Marcas d'água agora são suportadas em SQL

Agora pode especificar marcas d'água usando a interface DLT SQL e em consultas SQL em DataFrames em streaming. Consulte a cláusula WATERMARK.

Profilagem de memória PySpark

A criação de perfil de memória agora está habilitada para funções definidas pelo usuário do PySpark. Isso fornece informações sobre incremento de memória, uso de memória e número de ocorrências para cada linha de código em uma função definida pelo usuário.

Poda dinâmica para DELETE e UPDATE

Ao usar a computação ativada para Photon, DELETE e UPDATE agora usam a remoção dinâmica de arquivos e partições para melhorar o desempenho. Por exemplo, a remoção dinâmica é habilitada quando uma tabela de origem menor é usada para atualizar ou excluir linhas em uma tabela maior.

Métricas de exclusão em nível de linha para operações de linguagem de manipulação de dados particionados

Com predicados particionados, os usuários agora podem auditar quantas linhas são excluídas ao executar operações de linguagem de manipulação de dados (DML), como DELETE, TRUNCATEe replaceWhere.

Correções de erros

Corrigido um problema com a análise JSON no Auto Loader em que todas as colunas eram deixadas como strings. Anteriormente, cloudFiles.inferColumnTypes não estava definido ou configurado como false, e o JSON continha objetos aninhados.

Atualizações da biblioteca

  • Bibliotecas Python melhoradas:
    • argon2-cffi de 20.1.0 a 21.3.0
    • attrs de 21.2.0 a 21.4.0
    • backports.entry-points-selectable de 1.1.1 para 1.2.0
    • bleach da versão 4.0.0 para a 4.1.0
    • boto3 de 1.21.18 a 1.21.32
    • Botocore de 1.24.18 a 1.24.32
    • CFFI de 1.14.6 a 1.15.0
    • Clique de 8.0.3 para 8.0.4
    • cycler de 0.10.0 a 0.11.0
    • Cython de 0.29.24 a 0.29.28
    • debugpy de 1.4.1 a 1.5.1
    • decorador de 5.1.0 a 5.1.1
    • pontos de entrada de 0,3 a 0,4
    • IDNA de 3.2 a 3.3
    • ipykernel de 6.12.1 até 6.15.3
    • ipython de 7.32.0 a 8.5.0
    • ipywidgets desde 7.7.0 até 7.7.2
    • Jedi de 0.18.0 para 0.18.1
    • joblib de 1.0.1 a 1.1.0
    • jsonschema da versão 3.2.0 à versão 4.4.0
    • kiwisolver de 1.3.1 a 1.3.2
    • matplotlib de 3.4.3 a 3.5.1
    • nbclient de 0.5.3 a 0.5.13
    • nbconvert de 6.1.0 para 6.4.4
    • nbformat de 5.1.3 para 5.3.0
    • nest-asyncio da versão 1.5.1 à versão 1.5.5
    • notebook de 6.4.5 a 6.4.8
    • numpy de 1.20.3 a 1.21.5
    • embalagem de 21,0 a 21,3
    • pandas de 1.3.4 a 1.4.2
    • pandocfilters de 1.4.3 para 1.5.0
    • parso de 0.8.2 a 0.8.3
    • Almofada de 8.4.0 a 9.0.1
    • platformdirs de 2.5.2 para 2.5.4
    • plotly da versão 5.9.0 para a versão 5.6.0
    • Prometheus-cliente de 0.11.0 a 0.13.1
    • protobuf de 4.21.5 a 3.19.4
    • pycparser de 2.20 para 2.21
    • Pygments de 2.10.0 a 2.11.2
    • pyodbc de 4.0.31 a 4.0.32
    • pyzmq: atualização da versão 22.2.1 para 22.3.0
    • Pedidos de 2.26.0 a 2.27.1
    • s3transfer de 0.5.2 para 0.5.0
    • scikit-learn de 0.24.2 a 1.0.2
    • SciPy de 1.7.1 até 1.7.3
    • Versões de statsmodels de 0.12.2 a 0.13.2
    • terminado de 0.9.4 a 0.13.1
    • tomli de 2.0.1 a 1.2.2
    • traitlets de 5.1.0 para 5.1.1
    • urllib3 de 1.26.7 a 1.26.9
    • widgetsnbextension de 3.6.0 para 3.6.1
  • Bibliotecas R atualizadas:
    • base de 4.1.3 a 4.2.2
    • brew de 1.0-7 para 1.0-8
    • bslib da versão 0.4.0 para a versão 0.4.1
    • callr de 3.7.2 para 3.7.3
    • Cron de 2.3-57 para 2.3-58
    • CLI de 3.3.0 a 3.4.1
    • cluster de 2.1.3 a 2.1.4
    • marca comum de 1.8.0 a 1.8.1
    • compilador de 4.1.3 a 4.2.2
    • cpp11 de 0.4.2 a 0.4.3
    • giz de cera de 1.5.1 a 1.5.2
    • curvatura de 4.3.2 a 4.3.3
    • data.table de 1.14.2 a 1.14.4
    • conjuntos de dados de 4.1.3 a 4.2.2
    • desc de 1.4.1 a 1.4.2
    • Devtools de 2.4.4 a 2.4.5
    • resumo de 0.6.29 a 0.6.30
    • e1071 de 1.7-11 a 1.7-12
    • avaliar de 0,16 a 0,18
    • fontawesome de 0.3.0 a 0.4.0
    • futuro de 1.28.0 a 1.29.0
    • future.apply de 1.9.1 a 1.10.0
    • gargle da versão 1.2.0 para a versão 1.2.1
    • gert de 1.8.0 para 1.9.1
    • ggplot2 de 3.3.6 a 3.4.0
    • gh de 1.3.0 para 1.3.1
    • gitcreds de 0.1.1 a 0.1.2
    • gráficos de 4.1.3 a 4.2.2
    • grDevices de 4.1.3 a 4.2.2
    • grelha de 4.1.3 a 4.2.2
    • httpuv de 1.6.5 a 1.6.6
    • isoband de 0.2.5 a 0.2.6
    • jsonlite de 1.8.0 a 1.8.3
    • lava de 1.6.10 a 1.7.0
    • ciclo de vida de 1.0.1 a 1.0.3
    • lubridato de 1.8.0 a 1.9.0
    • markdown de 1,1 para 1,3
    • MASS de 7.3-56 a 7.3-58
    • Matriz de 1,4-1 a 1,5-1
    • Métodos de 4.1.3 a 4.2.2
    • mgcv de 1.8-40 a 1.8-41
    • nlme de 3.1-157 a 3.1-160
    • nnet de 7,3-17 para 7,3-18
    • openssl de 2.0.2 a 2.0.4
    • paralelo de 4.1.3 a 4.2.2
    • pkgload da versão 1.3.0 para a versão 1.3.1
    • processx de 3.7.0 a 3.8.0
    • ps de 1.7.1 a 1.7.2
    • purrr de 0.3.4 a 0.3.5
    • ragg de 1.2.2 a 1.2.4
    • RcppEigen de 0.3.3.9.2 a 0.3.3.9.3
    • Readr de 2.1.2 para 2.1.3
    • receitas de 1.0.1 a 1.0.3
    • rlang de 1.0.5 a 1.0.6
    • rmarkdown de 2,16 para 2,18
    • parte de 4.1.16 a 4.1.19
    • RSQLite de 2.2.16 a 2.2.18
    • brilhante de 1.7.2 a 1.7.3
    • SparkR de 3.3.0 a 3.3.1
    • splines de 4.1.3 a 4.2.2
    • Estatísticas de 4.1.3 a 4.2.2
    • stats4 de 4.1.3 a 4.2.2
    • SYS de 3.4 a 3.4.1
    • tcltk de 4.1.3 a 4.2.2
    • testthat de 3.1.4 para 3.1.5
    • Tidyr de 1.2.0 a 1.2.1
    • tidyselect de 1.1.2 a 1.2.0
    • dataHora de 4021.104 a 4021.106
    • tinytex de 0,41 a 0,42
    • Ferramentas de 4.1.3 a 4.2.2
    • utils de 4.1.3 a 4.2.2
    • vctrs de 0.4.1 a 0.5.0
    • vroom de 1.5.7 a 1.6.0
    • xfun de 0,32 a 0,34
    • ```Atualização do yaml de 2.3.5 para 2.3.6```
    • zip de 2.2.0 a 2.2.2
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-databind de 2.13.4 a 2.13.4.2
    • org.apache.parquet.parquet-column de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-comum de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-codificação de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0007 a 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations de 0.5.0 a 0.13.0

Apache Spark

O Databricks Runtime 12.0 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.3 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Reverter "[SC-113542][ss] Inverter o valor padrão de Kafka offset fetching config"
  • [SPARK-40646] [SC-116061] Reverter "[SC-113379][sql] Corrigir o retorno de resultados parciais na fonte de dados JSON e funções JSON"
  • [SPARK-41195] [SC-116305][sql] Apoio PIVOT/UNPIVOT com filhos
  • [SPARK-41178] [SC-116139][sql] Corrigir a precedência da regra do analisador entre JOIN e vírgula
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Adicione a classe STREAM_FAILED de erro a StreamingQueryException
  • [SPARK-40921] Reverter "[SC-115140][sc-114585][SQL] Adicionar cláusula QUANDO NÃO HOUVER CORRESPONDÊNCIA COM A FONTE para MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Estender a coluna METADADOS para suportar índices de linha para ficheiros Parquet
  • [SPARK-41055] [SC-115582][sql] Renomear _LEGACY_ERROR_TEMP_2424 para GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Suporte de nome de classe de mensagem para PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Equivalente SQL para comando de sobrescrita de Dataframe
  • [SPARK-41095] [SC-115659][sql] Converter operadores não resolvidos em erros internos
  • [SPARK-41144] [SC-115866][sql] Dica não resolvida não deve causar falha de consulta
  • [SPARK-41137] [SC-115858][sql] Renomear LATERAL_JOIN_OF_TYPE para INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Renomeie a classe _LEGACY_ERROR_TEMP_0040 de erro para INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] TesteUnitário verificação de valor nulo para gerador de dados
  • [SPARK-40769] [SC-114923][core][SQL] Migrar falhas de verificação de tipo de expressões agregadas para classes de erro
  • [SPARK-41043] [SC-115183][sql] Renomeie a classe _LEGACY_ERROR_TEMP_2429 de erro para NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Suporte para importação Protobuf e transferência de classes de erro.
  • [SPARK-41019] [SC-114987][sql] Forneça um contexto de consulta para failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Use UNEXPECTED_INPUT_TYPE em vez de MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Reduzir o tamanho aleatório da ELA
  • [SPARK-41134] [SC-115851][sql] Melhorar a mensagem de erro para erros internos
  • [SPARK-37980] Revert " [SQL] Estender a coluna METADADOS para suportar índices de linhas para ficheiros Parquet
  • [SPARK-41109] [SC-115788][sql] Renomeie a classe de erro _LEGACY_ERROR_TEMP_1216 para INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Use NON_FOLDABLE_INPUT em vez de FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Otimizar o uso do construtor de GenericArrayData para Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Adicionar preenchimento de caracteres do lado da leitura para cobrir arquivos de dados externos
  • [SPARK-40978] [SC-114574][sql] Migrar failAnalysis() sem contexto para classes de erro
  • [SPARK-40663] [SC-114586][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: suporte à filtragem de grupos em tempo de execução em comandos ao nível de linha
  • [SPARK-40372] [SC-115668][sql] Migrar falhas de verificações de tipo de matriz para classes de erro
  • [SPARK-41038] [SC-115371][sql] Renomear MULTI_VALUE_SUBQUERY_ERROR para SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1208 de erro para FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrar falhas de verificação de tipo de condições para classes de erro
  • [SPARK-40371] [SC-114557][sql] Migrar falhas de verificação de tipo de NthValue e NTile para classes de erro
  • [SPARK-41092] [SC-115547][sql] Não use identificador para corresponder a unidades de intervalo
  • [SPARK-41009] [SC-115360][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1070 de erro para LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Estender a coluna METADADOS para suportar índices de linha para ficheiros Parquet
  • [SPARK-40967] [SC-114448][sql] Migrar failAnalysis() para classes de erro
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumento Python UDFs usando métricas SQL
  • [SPARK-41012] [SC-114873][sql] Renomear _LEGACY_ERROR_TEMP_1022 para ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Renomear PARSE_CHAR_MISSING_LENGTH para DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrar erros de verificação de tipos de expressões diversas para classes de erro
  • [SPARK-37945] [SC-115534][sql][CORE] Use classes de erro nos erros de execução de operações aritméticas
  • [SPARK-40374] [SC-114705][sql] Migrar falhas de validação de tipo de criadores de tipos para classes de erro
  • [SPARK-41056] [SC-115354][r] Corrigir novo comportamento de R_LIBS_SITE introduzido na R 4.2
  • [SPARK-41041] [SC-115357][sql] Integrar _LEGACY_ERROR_TEMP_1279 em TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Renomeie a classe _LEGACY_ERROR_TEMP_1019 de erro para STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Não corrija elementos dobráveis de funções agregadas em RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Melhorar classes de erro e mensagens
  • [SPARK-40798] [SC-113782][sql] Alterar partição deve verificar se o valor segue a política de atribuição de armazenamento
  • [SPARK-40810] [SC-113533][sql] Use SparkIllegalArgumentException em vez de IllegalArgumentException em CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Adicionar a cláusula QUANDO NÃO CORRESPONDE À FONTE a MERGE INTO
  • [FAÍSCA-40360] [SC-114965] exceções JÁ_EXISTE e NÃO_ENCONTRADO
  • [SPARK-41007] [SC-115085][sql] Adicionar serializador ausente para java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrar falhas de verificação de tipo de funções de ordem alta para classes de erro
  • [SPARK-40248] [SC-114704][sql] Use um número maior de bits para criar o filtro Bloom
  • [SPARK-41040] [SC-115145][ss] Corrigir falha de consulta de streaming de auto-união ao usar readStream.table
  • [SPARK-32380] [SC-114966][sql] Corrigindo o acesso da tabela HBase via Hive do Spark
  • [SPARK-40749] [SC-114860][sql] Migrar falhas de verificação de tipo nos geradores para classes de erro
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Corrigir operador com estado re...
  • [SPARK-40654] [SC-112783] Remover linhas de log temporárias
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Corrigir avisos de compilação Java relacionados com tipos genéricos
  • [SPARK-40657] [SC-113642][cherry-pick] Adicionar suporte para classes Java em Protob...
  • [SPARK-40898] [SC-113932][sql] Citar nomes de funções em erros de incompatibilidade de tipos de dados
  • [SPARK-40760] [SC-113750][sql] Migrar falhas de verificação de tipo de expressões de intervalo para classes de erro
  • [SPARK-36114] [SC-113771][sql] Suportar subconsultas com predicados de não igualdade correlacionados
  • [SPARK-40856] [SC-113738][sql] Atualizar o modelo de erro do WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrar falhas de verificação de tipo da janela de tempo para classes de erro
  • [SPARK-40750] [SC-113812][sql] Migrar falhas de verificação de tipo de expressões matemáticas para categorias de erro
  • [SPARK-40756] [SC-113749][sql] Migrar falhas de verificação de tipo de expressões de cadeia de caracteres para classes de erro
  • [SPARK-40768] [SC-113640][sql] Migrar falhas de verificação de tipo de bloom_filter_agg() para classes de erro
  • [SPARK-40369] [SC-113402][core][SQL] Migrar falhas de verificação de tipos em chamadas por reflexão para classes de erro
  • [SPARK-39445] [SQL] Remova a janela se windowExpressions estiver vazia durante a poda de colunas
  • [SPARK-40761] [SC-113245][sql] Migrar falhas na verificação de tipos das expressões de percentil para classes de erro
  • [SPARK-40361] [SC-112789][sql] Migrar falhas de verificação de tipo aritmético para classes de erro
  • [SPARK-40714] [SC-112576][sql] Remover PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Corrigir especificações de partição em PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Migrar falhas de verificação de tipo de coleção para classes de erro
  • [SPARK-40910] [SC-114259][sql] Substitua UnsupportedOperationException por SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Adicionar UNPIVOT à sintaxe SQL
  • [SPARK-39783] [SC-113389][sql] Quote qualifiedName para corrigir backticks para candidatos a coluna em mensagens de erro
  • [SPARK-40663] [SC-112520][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Renomeie a classe _LEGACY_ERROR_TEMP_0021 de erro para UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Elimine campos de subclasses de erro separados
  • [SPARK-40944] [SC-114530][sql] Relaxe a restrição de ordenação para CREATE TABLE opções de coluna
  • [SPARK-40815] [SC-114528][sql] Adicionar DelegateSymlinkTextInputFormat como solução alternativa para o bug SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Reimplementar df.stat. {cov, corr} com funções sql incorporadas
  • [SPARK-40932] [SC-114439][core] Corrigir mensagens de problema para allGather são substituídas
  • [SPARK-39312] [SQL] Use o predicado In nativo do Parquet para pushdown de filtro
  • [SPARK-40862] [SC-114352][sql] Suporta subconsultas não agregadas em RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Definir anulável corretamente no projeto criado por ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Migrar erros de execução para classes de erro: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Relaxar o requisito da regra window_time: permitir múltiplas chamadas de window_time
  • [SPARK-40540] [SC-111639][sql] Migrar erros de compilação para classes de erro: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Correção para Unhex quando a entrada tem número ímpar de símbolos
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Introduza window_time função para extrair o tempo do evento da coluna da janela
  • [SPARK-40800] [SC-113772][sql] Sempre expressões embutidas em OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Reimplementar frequentItems com operações de dataframe
  • [SPARK-40735] [SC-114022][sc-112657] Invoque consistentemente bash com /usr/bin/env bash em scripts para tornar o código mais portátil
  • [SPARK-40773] [SC-113091][sql] Refatorar checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Verifique os tipos de dados não suportados ao descorrelacionar subconsultas
  • [SPARK-40660] [SC-112293][core][SQL] Mudar para XORShiftRandom para distribuir elementos
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrar erros de compilação para classes de erro
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Adicionar APIs para operações de nível de linha baseadas em delta
  • [SPARK-39391] [SC-110676][core] Reutilizar classes de particionador
  • [SPARK-40368] [SC-113396][sql] Migrar falhas de verificação do tipo Bloom Filter para classes de erro
  • [SPARK-39146] [SC-111814][core][SQL] Introduza singleton local para ObjectMapper que possa ser reutilizado
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrar falhas na verificação do tipo de janela para classes de erro
  • [SPARK-40874] [SC-113756][python] Corrigir difusões em Python UDFs quando a encriptação está ativada
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrar falhas de verificação de tipos em expressões CSV/JSON para classes de erro
  • [SPARK-40880] [SC-113764][sql] Reimplementar summary com operações de dataframe
  • [SPARK-40877] [SC-113763][sql] Reimplementar crosstab com operações de dataframe
  • [SPARK-40382] [SC-113098][sql] Agrupe expressões agregadas distintas por filhos semanticamente equivalentes em RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Adicionar verificação adicional de renomeação de ficheiro no ponto de verificação
  • [SPARK-40829] [SC-113426][sql] ARMAZENADO COMO serde na CREATE TABLE LIKE vista não funciona
  • [SPARK-40844] [SC-113542][ss] Inverta o valor padrão de Kafka offset fetching config
  • [SPARK-40488] [SC-113568][sc-111160] Não encapsular exceções lançadas quando a gravação da fonte de dados falhar
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Renomeie messagemessageTemplate para STANDARD no formato de erros
  • [SPARK-40618] [SC-113096][sql] Corrigir bug na regra MergeScalarSubqueries com subconsultas aninhadas usando rastreamento de referência
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Adicionar APIs de desenvolvedor relacionadas a erros
  • [SPARK-40806] [SC-113250][sql] Correção de erro de digitação: CREATE TABLE -> SUBSTITUIR TABLE
  • [SPARK-40646] [SC-113379][sql] Correção que retorna resultados parciais na fonte de dados JSON e funções JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Suporte Protobuf para Spark - a partir de…
  • [SPARK-40753] [SC-113539][sql] Corrigir bug no caso de teste para operação de diretório de catálogo
  • [SPARK-40765] [SC-113056][sql] Otimizar a operação fs redundante no método CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Suporte para Arrow 9.0.0 com SparkR
  • [SPARK-40479] [SC-110935][sql] Migrar erro de tipo de entrada inesperado para uma classe de erro
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrar erros de análise para classes de erro
  • [SPARK-39853] [SC-111867][core] Suporta perfil de recursos de tarefas ao nível do estágio para cluster autónomo quando a alocação dinâmica estiver desabilitada (retrocompatibilidade do PR-47157)
  • [SPARK-40407] [SC-111161][sql] Corrija a possível distorção de dados causada por df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE não precisa fazer pesquisa de tabela
  • [SPARK-40703] [SC-113242][sql] Introduza o shuffle em SinglePartition para melhorar o paralelismo
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil para definir a origem das opções de configuração do hadoop/hive
  • [SPARK-39062] [11.x][core] Adicionar suporte de agendamento de recursos em nível de estágio para cluster autônomo
  • [SPARK-33861] [SC-109877] Reverter "[SQL] Simplificar condicional no predicado"
  • [SPARK-40667] [SC-113136][sql] Refatorar Opções de Fonte de Dados de Arquivo
  • [SPARK-40370] [SC-110677][sql] A verificação de tipo de migração falha para classes de erro no CAST
  • [SPARK-40611] [SC-113105][sql] Melhorar o desempenho de setInterval e getInterval para UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Faça com que o conteúdo de SERDEPROPERTIES no resultado de ShowCreateTableAsSerdeCommand tenha uma ordem fixa
  • [SPARK-40585] [SC-112180][sql] Suporta identificadores de aspas duplas
  • [SPARK-40772] [SC-112992][sql] Melhorar spark.sql.adaptive.skewJoin.skewedPartitionFactor para suportar Double valores
  • [SPARK-40565] [SC-112417][sql] Não envie filtros não determinísticos para fontes de arquivo V2
  • [SPARK-8731] [SC-112784] Beeline não funciona com a opção -e quando iniciado em segundo plano
  • [SPARK-35242] [SC-111398][sql] Suporte à alteração do banco de dados padrão do catálogo de sessões
  • [SPARK-40426] [SC-110672][sql] Retornar um mapa a partir de SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Otimize o desempenho do padrão de keys.zipWithIndex.toMap código
  • [SPARK-40521] [SC-112430][sql] Retornar apenas as partições existentes do comando de criação de partições do Hive
  • [SPARK-40705] [SC-112567][sql] Lidar com o caso de usar matriz mutável ao converter Row para JSON para Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Suportar a remoção de várias colunas
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Remover operações redundantes de interpolador de cadeia
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Ordenar parâmetros de mensagem de erro por nomes nos formatos JSON
  • [SPARK-40403] [SC-110564][sql] Calcular o tamanho da matriz não segura usando longs para evitar o tamanho negativo na mensagem de erro
  • [SPARK-40482] [SC-110831][sql] Reverter SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Passar parâmetros de mensagem de erro para exceções como mapas
  • [SPARK-40628] [SC-112414][sql] Não empurre a condição complexa de semijunção/antijunção esquerda na projeção
  • [SPARK-40562] [SC-111455][sql] Adicionar spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Adicionar PushProjectionThroughLimit para Optimizer
  • [SPARK-39200] [SC-111244][core] Fazer com que o armazenamento de fallback leia totalmente o conteúdo
  • [SPARK-38717] [SC-111241][sql] Manipular o comportamento de preservação de caso de especificação de bucket do Hive
  • [SPARK-40385] [SC-111123][sql] Corrigir caminho interpretado para construtor de objeto complementar
  • [SPARK-40216] [SC-112413][sql] Extraia o método comum ParquetUtils.prepareWrite para desduplicar o código em ParquetFileFormat e ParquetWrite
  • [SPARK-40636] [SC-112160][core] Corrigir registos incorretos de embaralhamentos restantes em BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Corrigir a condição de corrida no processamento das entradas stageTCMP do ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][sql] Corrigir erro na regra de MergeScalarSubqueries com subconsultas aninhadas
  • [SPARK-40612] [SC-111933][core] Corrigindo o principal usado para renovação de token de delegação em gerenciadores de recursos não-YARN
  • [SPARK-40595] [SC-111662][sql] Melhorar a mensagem de erro para relações CTE não utilizadas
  • [SPARK-40314] [SC-111879][sql][PYTHON] Adicione ligações scala e python para inline e inline_outer
  • [SPARK-40416] [SC-110945][sql] Mover as mensagens de erro da expressão subquery do CheckAnalysis para usar a nova estrutura de erro
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() deve lançar as exceções de seu filho
  • [SPARK-40509] [SC-111644][ss][PYTHON] Adicionar exemplo para applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() deve lançar as exceções de seu filho
  • [SPARK-40016] [SQL] Remover o TryEval desnecessário na implementação do try_sum()
  • [SPARK-40527] [SC-111224][sql] Mantenha os nomes de campos da estrutura ou chaves de mapa no CreateStruct
  • [SPARK-38098] [SC-111178][python] Adicionar suporte para ArrayType de StructType aninhado para conversão baseada em seta
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Fornecer contexto de consulta em AnalysisException
  • [SPARK-40492] [SC-111324][ss] Faça manutenção antes de descarregar o StateStore do streaming
  • [SPARK-40487] [SC-111124][sql] Tornar defaultJoin em BroadcastNestedLoopJoinExec em execução em simultâneo
  • [SPARK-40474] [SC-111273][sql] Inferência de esquema CSV correta e comportamento de análise de dados em colunas com datas e carimbos de data/hora mistos
  • [SPARK-40508] [SC-111066][sql] Tratar particionamento desconhecido como UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Corrija as configurações para controlar "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Adicionar suítes de teste para applyInPandasWithState no PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementar applyInPandasWithState no PySpark

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Lago Delta: 2.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Argão2-CFFI 21.3.0 argon2-cffi-vinculações 21.2.0 AstTokens 2.0.5
Atributos 21.4.0 Chamada de retorno 0.2.0 backports.pontos-de-entrada-selecionáveis 1.2.0
Beautiful Soup 4 4.11.1 preto 22.3.0 lixívia 4.1.0
boto3 1.21.32 Botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 Chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 criptografia 3.4.8 ciclista 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorador 5.1.1 defusedxml 0.7.1 Distlib 0.3.6
pontos de entrada 0.4 executar 0.8.3 facetas-visão geral 1.0.0
fastjsonschema 2.16.2 bloqueio de arquivo 3.8.0 Fonttools 4.25.0
IDNA 3.3 Ipykernel 6.15.3 IPython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 Jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 Joblib 1.1.0
jsonschema 4.4.0 Jupyter Client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 Matplotlib 3.5.1 matplotlib-inline 0.1.2
Mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
bloco de notas 6.4.8 numpy 1.21.5 embalagem 21,3
pandas 1.4.2 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.9.0 vítima 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Almofada 9.0.1 pip 21.2.4
platformdirs 2.5.4 enredo 5.6.0 Prometheus-Cliente 0.13.1
kit de ferramentas de prompt 3.0.20 Protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
Pyarrow 7.0.0 Pycparser 2.21 Pigmentos 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 Pytz 2021.3
Pyzmq 22.3.0 pedidos 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn (biblioteca de aprendizado de máquina em Python) 1.0.2 SciPy 1.7.3
nascido no mar 0.11.2 Send2Trash 1.8.0 Ferramentas de configuração 58.0.4
seis 1.16.0 Soupsieve 2.3.1 ssh-import-id 5.10
dados de stack 0.2.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.13.2 tenacidade 8.0.1
concluído 0.13.1 caminho de teste 0.5.0 ThreadPoolCtl 2.2.0
tokenize-rt 4.2.1 Tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions (extensões de digitação) 4.1.1 Atualizações não supervisionadas 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
codificações da web 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot do Microsoft CRAN a 11-11-2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 10.0.0 AskPass 1.1 asserir que 0.2.1
Retroportagens 1.4.1 base 4.2.2 base64enc 0.1-3
pouco 4.0.4 bit-64 4.0.5 blob 1.2.3
inicialização 1.3-28 fabricação de cerveja 1.0-8 Brio 1.1.3
vassoura 1.0.1 bslib 0.4.1 cachemira 1.0.6
Chamador 3.7.3 caret 6.0-93 CellRanger 1.1.0
crono 2.3-58 classe 7.3-20 CLI 3.4.1
Clipr 0.8.0 relógio 0.6.1 cluster 2.1.4
CodeTools 0.2-18 espaço de cores 2.0-3 marca comum 1.8.1
compilador 4.2.2 Configurações 0.3.1 cpp11 0.4.3
lápis de cor 1.5.2 credenciais 1.3.2 encaracolar 4.3.3
tabela de dados 1.14.4 conjuntos de dados 4.2.2 DBI 1.1.3
DBPlyr 2.2.1 descrição 1.4.2 DevTools 2.4.5
diffobj 0.3.5 resumo 0.6.30 Iluminação reduzida 0.4.2
DPLYR 1.0.10 DTPlyr 1.2.2 e1071 1.7-12
reticências 0.3.2 avaliar 0.18 Fansi 1.0.3
cores 2.1.1 mapa rápido 1.1.0 fontawesome 0.4.0
forçados 0.5.2 foreach 1.5.2 estrangeiro/a 0.8-82
forjar 0.2.0 fs 1.5.2 Futuro 1.29.0
futuro.apply 1.10.0 gargarejo 1.2.1 genérico 0.1.3
Gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 Globais 0.16.1
cola 1.6.2 GoogleDrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 gráficos 4.2.2 grDispositivos 4.2.2
grelha 4.2.2 gridExtra 2.3 gsubfn 0.7
tabela g 0.3.1 capacete de segurança 1.2.0 Refúgio 2.5.1
mais alto 0,9 HMS (Navio de Sua Majestade) 1.1.2 htmltools 0.5.3
htmlwidgets (componentes HTML interativos) 1.5.4 httpuv 1.6.6 HTTR 1.4.4
identificadores 1.0.1 ini 0.3.1 ipred 0.9-13
Banda isobárica 0.2.6 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 Knitr 1.40
etiquetagem 0.4.2 mais tarde 1.3.0 treliça 0.20-45
lave 1.7.0 ciclo de vida 1.0.3 ouvir 0.8.0
lubridato 1.9.0 Magrittr 2.0.3 Marcação 1.3
MASSA 7.3-58 Matriz 1.5-1 memorização 2.0.1
Metodologia 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
Munsell 0.5.0 nlme 3.1-160 NNET 7.3-18
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 2.0.4 paralelo 4.2.2
Paralelamente 1.32.1 pilar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 Plyr 1.8.7 elogios 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
Prodlim 2019.11.13 profvis 0.3.7 Progressos 1.2.2
progressr 0.11.0 promessas 1.2.0.1 prototipo 1.0.0
proxy 0.4-27 P.S. 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
Readr 2.1.3 readxl 1.4.1 receitas 1.0.3
nova partida 1.0.1 revanche2 2.1.2 Dispositivos remotos 2.4.2
Exemplo Reproduzível (Reprex) 2.0.2 remodelar2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart (função de partição recursiva em R) 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
Rvest 1.0.3 Sass 0.4.2 balanças 1.2.1
seletor 0.4-2 Informação da sessão 1.2.2 forma 1.4.6
brilhante 1.7.3 ferramentas de código-fonte 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 espacial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 estatísticas 4.2.2
estatísticas4 4.2.2 string 1.7.8 stringr 1.4.1
Sobrevivência 3.4-0 Sistema 3.4.1 fontes do sistema 1.0.4
tcltk (uma linguagem de programação) 4.2.2 testthat 3.1.5 formatação de texto 0.3.6
Tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 mudança de hora 0.1.1 data e hora 4021.106
Tinytex 0.42 Ferramentas 4.2.2 tzdb 0.3.0
verificador de URL 1.0.1 usethis 2.1.6 UTF8 1.2.2
utilitários 4.2.2 Identificador Único Universal (UUID) 1.1-0 VCTRS 0.5.0
viridisLite 0.4.1 vruum 1.6.0 Waldo 0.4.0
vibrissas 0.4 murchar 2.5.0 xfun 0.34
XML2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip (formato de arquivo) 2.2.2

Instalei as bibliotecas Java e Scala (versão do cluster Scala 2.12)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.189
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws AWS Java SDK para CloudSearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (kit de desenvolvimento de software Java para DirectConnect) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws AWS Java SDK para SES 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.189
com.amazonaws AWS-Java-SDK-STS 1.12.189
com.amazonaws aws-java-sdk-suporte 1.12.189
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware sombra kriogénica 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core Jackson-Annotations 2.13.4
com.fasterxml.jackson.core Jackson-Core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (formato de dados em CBOR) 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2banco de dados h2 2.0.204
com.helger gerador de perfis 1.1.1
com.jcraft jsch 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Configurações 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.21
IO.Delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics métricas principais 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas e verificações de saúde 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics métricas em formato JSON 4.1.1
io.dropwizard.metrics métricas do JVM 4.1.1
io.dropwizard.metrics Métricas-Servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty Netty Comum 4.1.74.Final
io.netty Netty Handler 4.1.74.Final
io.netty netty-resolver (resolução do Netty) 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty Netty-Transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-nativo-unix-comum 4.1.74.Final
io.prometeu simpleclient 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação jakarta.annotation.api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
Jakarta.validação jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine conserva 1.2
net.sf.jpam JPAM 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.22
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de flecha 7.0.0
org.apache.arrow núcleo de memória Arrow 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow vetor gráfico de seta 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro AVRO-IPC 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curador curador e cliente 2.13.0
org.apache.curador Framework de Curadoria 2.13.0
org.apache.curador curador de receitas 2.13.0
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop hadoop-client-api (API do cliente Hadoop) 3.3.4-DATABRICKS
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.4
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Hive-CLI 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive API de armazenamento Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy hera 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc Orc-cunhas 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet estruturas de formato parquet 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações do público 0.13.0
org.apache.zookeeper cuidador de zoológico 3.6.2
org.apache.zookeeper guarda de zoológico-juta 3.6.2
org.checkerframework verificador de qualidade 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Cliente 9.4.46.v20220331
org.eclipse.jetty jetty-continuation (componente de software do Jetty) 9.4.46.v20220331
org.eclipse.jetty Jetty-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty Segurança do Jetty 9.4.46.v20220331
org.eclipse.jetty servidor jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty Jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplicação web Jetty 9.4.46.v20220331
org.eclipse.jetty Jetty-XML 9.4.46.v20220331
org.eclipse.jetty.websocket API WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-cliente 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-Comum 9.4.46.v20220331
org.eclipse.jetty.websocket servidor websocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 HK2-Localizador 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core Jersey comum 2,36
org.glassfish.jersey.core servidor Jersey 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow MLFLOW-Spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap anilhas 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-compatível-com-slf4j 1.7.36
org.slf4j jul-para-slf4j 1.7.36
org.slf4j SLF4J-API 1.7.36
org.spark-project.spark não utilizado 1.0.0
org.threeten ThreeTen-Extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-plataforma_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.0.7.Final
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml Snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion íon-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on