Partilhar via

Tempo de execução do Databricks 14.0 (EoS)

Observação

O suporte para esta versão do Databricks Runtime terminou. Para a data de fim de suporte, consulte Fim de suporte e histórico de fim de vida útil. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As seguintes notas de versão fornecem informações sobre o Databricks Runtime 14.0, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em setembro de 2023.

Novos recursos e melhorias

O rastreamento de linha é GA

O rastreamento de linhas para Delta Lake agora está disponível para o público em geral. Veja Rastreamento de linhas no Databricks.

A E/S preditiva para atualizações está em Disponibilidade Geral

A entrada/saída preditiva (E/S) para atualizações agora está disponível para o público em geral. Consulte O que é E/S preditiva?.

Os vetores de eliminação são GA

Os vetores de exclusão agora estão geralmente disponíveis. Ver Vetores de eliminação em Databricks.

Spark 3.5.0 é GA

O Apache Spark 3.5.0 já está disponível para o público em geral. Consulte Spark Release 3.5.0.

Pré-visualização pública para funções de tabela definidas pelo utilizador para Python

As funções de tabela definidas pelo usuário (UDTFs) permitem registrar funções que retornam tabelas em vez de valores escalares. Ver Python funções de tabela definidas pelo utilizador (UDTFs).

Visualização pública para simultaneidade em nível de linha

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas, detetando alterações no nível da linha e resolvendo automaticamente alterações concorrentes em gravações simultâneas que atualizam ou excluem linhas diferentes no mesmo arquivo de dados. Ver Concorrência a nível de linha.

O diretório de trabalho atual padrão foi alterado

O diretório de trabalho atual padrão (CWD) para código executado localmente agora é o diretório que contém o bloco de anotações ou script que está sendo executado. Isto inclui código como %sh e Python ou código R que não utiliza o Spark. Consulte Qual é o diretório de trabalho atual padrão?.

Problema conhecido com o sparklyr

A versão instalada do pacote (versão 1.8.1) não é compatível com o sparklyr Databricks Runtime 14.0. Para usar sparklyr, instale a versão 1.8.3 ou superior.

Apresentando o Spark Connect na arquitetura de cluster compartilhado

Com o Databricks Runtime 14.0 e superiores, os clusters partilhados passam a usar o Spark Connect com o Spark Driver do Python REPL por defeito. As APIs internas do Spark não são mais acessíveis a partir do código do usuário.

O Spark Connect agora interage com o Spark Driver do REPL, em vez da integração REPL herdada.

Listar versões disponíveis da atualização da API do Spark

Habilite o Photon definindo runtime_engine = PHOTONe habilite aarch64 escolhendo um tipo de instância graviton. Azure Databricks define a versão correta do Databricks Runtime. Anteriormente, a API da versão do Spark retornava tempos de execução específicos da implementação para cada versão. Consulte GET /api/2.0/clusters/spark-versions na Referência da API REST.

Alterações de grande impacto

No Databricks Runtime 14.0 e superior, os clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado) usam o Spark Connect para comunicação cliente-servidor. Isso inclui as seguintes alterações.

Para obter mais informações sobre as limitações do modo de acesso padrão, consulte Requisitos e limitações de computação padrão.

Python em clusters com modo de acesso padrão (anteriormente modo de acesso partilhado)

  • sqlContext não está disponível. Azure Databricks recomenda usar a variável spark para a instância SparkSession.
  • O Spark Context (sc) não está mais disponível em Notebooks ou ao usar o Databricks Connect em um cluster com modo de acesso padrão. As seguintes sc funções não estão mais disponíveis:
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • O recurso Informações do Conjunto de Dados não é mais suportado.
  • Não há mais uma dependência da JVM ao consultar o Apache Spark e, como consequência, APIs internas relacionadas à JVM, como _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, , e _jmap_jcols não são mais suportadas.
  • Ao acessar valores de configuração usando spark.conf apenas os valores de configuração de tempo de execução dinâmico são acessíveis.
  • Os comandos de análise Lakeflow Spark Declarative Pipelines ainda não são suportados em clusters compartilhados.

Delta em clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado)

  • Em Python, já não existe uma dependência da JVM ao consultar o Apache Spark. APIs internas relacionadas à JVM, como DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuildere DeltaOptimizeBuilder._jbuilder não são mais suportadas.

SQL em clusters com modo de acesso padrão (anteriormente modo de acesso compartilhado)

  • DBCACHE e DBUNCACHE comandos não são mais suportados.
  • Casos de uso raros como cache table db as show databases não são mais suportados.

Atualizações da biblioteca

  • Bibliotecas Python melhoradas:
    • asttokens do 2.2.1 ao 2.0.5
    • Atualização de attrs da versão 21.4.0 para 22.1.0
    • botocore de 1.27.28 a 1.27.96
    • certifi de 2022.9.14 a 2022.12.7
    • Criptografia de 37.0.1 a 39.0.1
    • debugpy de 1.6.0 a 1.6.7
    • docstring-to-markdown de 0.12 a 0.11
    • execução de 1.2.0 a 0.8.3
    • visão geral de facetas de 1.0.3 a 1.1.1
    • googleapis-common-protos de 1.56.4 a 1.60.0
    • grpcio de 1.48.1 a 1.48.2
    • IDNA de 3.3 a 3.4
    • ipykernel de 6.17.1 até 6.25.0
    • ipython de 8.10.0 a 8.14.0
    • Jinja2 de 2.11.3 a 3.1.2
    • jsonschema de 4.16.0 a 4.17.3
    • jupyter_core de 4.11.2 a 5.2.0
    • kiwisolver de 1.4.2 a 1.4.4
    • MarkupSafe de 2.0.1 a 2.1.1
    • matplotlib de 3.5.2 a 3.7.0
    • nbconvert de 6.4.4 para 6.5.4
    • nbformat de 5.5.0 para 5.7.0
    • nest-asyncio de 1.5.5 a 1.5.6
    • notebook de 6.4.12 a 6.5.2
    • numpy de 1.21.5 a 1.23.5
    • embalagens de 21,3 a 22,0
    • pandas de 1.4.4 a 1.5.3
    • PathSpec de 0.9.0 a 0.10.3
    • patsy de 0.5.2 para 0.5.3
    • Pillow da versão 9.2.0 à 9.4.0
    • pip de 22.2.2 a 22.3.1
    • protobuf de 3.19.4 a 4.24.0
    • pytoolconfig de 1.2.2 a 1.2.5
    • pytz de 2022.1 a 2022.7
    • s3transfer de 0.6.0 para 0.6.1
    • seaborn de 0.11.2 a 0.12.2
    • setuptools de 63.4.1 a 65.6.3
    • soupsieve de 2.3.1 até 2.3.2.post1
    • stack-data de 0.6.2 a 0.2.0
    • statsmodels de 0.13.2 até 0.13.5
    • terminado de 0.13.1 a 0.17.1
    • traitlets de 5.1.1 para 5.7.1
    • typing_extensions de 4.3.0 a 4.4.0
    • urllib3 de 1.26.11 a 1.26.14
    • virtualenv de 20.16.3 a 20.16.7
    • roda de 0.37.1 a 0.38.4
  • Bibliotecas R atualizadas:
    • atualização de 10.0.1 para 12.0.1
    • base de 4.2.2 a 4.3.1
    • Blob de 1.2.3 até 1.2.4
    • broom de 1.0.3 a 1.0.5
    • bslib de 0.4.2 a 0.5.0
    • cachem de 1.0.6 a 1.0.8
    • Caret de 6.0-93 para 6.0-94
    • chron de 2.3-59 a 2.3-61
    • classe de 7.3-21 a 7.3-22
    • Linha de comando (CLI) de 3.6.0 a 3.6.1
    • relógio de 0.6.1 a 0.7.0
    • marca comum de 1.8.1 a 1.9.0
    • Compilador de 4.2.2 a 4.3.1
    • cpp11 de 0.4.3 a 0.4.4
    • curvatura de 5.0.0 a 5.0.1
    • data.table de 1.14.6 a 1.14.8
    • conjuntos de dados de 4.2.2 a 4.3.1
    • dbplyr da versão 2.3.0 para a 2.3.3
    • digest de 0.6.31 a 0.6.33
    • Downlit de 0.4.2 para 0.4.3
    • dplyr de 1.1.0 a 1.1.2
    • dtplyr de 1.2.2 a 1.3.1
    • avaliar de 0,20 a 0,21
    • fastmap de 1.1.0 para 1.1.1
    • fontawesome de 0.5.0 a 0.5.1
    • fs de 1.6.1 a 1.6.2
    • futuro de 1.31.0 a 1.33.0
    • future.apply de 1.10.0 a 1.11.0
    • gargle de 1.3.0 a 1.5.1
    • ggplot2 de 3.4.0 a 3.4.2
    • gh de 1.3.1 para 1.4.0
    • glmnet de 4.1-6 a 4.1-7
    • GoogleDrive de 2.0.0 a 2.1.1
    • googlesheets4 de 1.0.1 a 1.1.1
    • gráficos de 4.2.2 a 4.3.1
    • grDevices de 4.2.2 a 4.3.1
    • grelha de 4.2.2 a 4.3.1
    • gtable de 0.3.1 a 0.3.3
    • Hardhat de 1.2.0 a 1.3.0
    • refúgio de 2.5.1 a 2.5.3
    • HMS de 1.1.2 a 1.1.3
    • htmltools de 0.5.4 a 0.5.5
    • htmlwidgets de 1.6.1 para 1.6.2
    • httpuv de 1.6.8 a 1.6.11
    • HTTR de 1.4.4 a 1.4.6
    • ipred de 0,9-13 a 0,9-14
    • jsonlite de 1.8.4 a 1.8.7
    • KernSmooth de 2.23-20 a 2.23-21
    • knitr de 1,42 a 1,43
    • mais tarde, de 1.3.0 para 1.3.1
    • rede de 0,20-45 a 0,21-8
    • lava de 1.7.1 a 1.7.2.1
    • lubridato de 1.9.1 a 1.9.2
    • markdown de 1,5 para 1,7
    • MASSA de 7,3-58,2 a 7,3-60
    • Matriz de 1,5-1 a 1,5-4,1
    • Métodos de 4.2.2 a 4.3.1
    • mgcv de 1.8-41 a 1.8-42
    • modelr da versão 0.1.10 para 0.1.11
    • nnet de 7,3-18 a 7,3-19
    • openssl de 2.0.5 a 2.0.6
    • paralelo de 4.2.2 a 4.3.1
    • em paralelo de 1.34.0 a 1.36.0
    • pilar de 1.8.1 a 1.9.0
    • pkgbuild da versão 1.4.0 à versão 1.4.2
    • pkgload de 1.3.2 a 1.3.2.1
    • pROC de 1.18.0 a 1.18.4
    • processx de 3.8.0 a 3.8.2
    • prodlim de 2019.11.13 a 2023.03.31
    • profvis de 0.3.7 para 0.3.8
    • ps de 1.7.2 a 1.7.5
    • Rcpp de 1.0.10 a 1.0.11
    • readr de 2.1.3 para 2.1.4
    • Alteração do readxl da versão 1.4.2 para a 1.4.3
    • receitas de 1.0.4 a 1.0.6
    • RLANG de 1.0.6 a 1.1.1
    • rmarkdown de 2,20 para 2,23
    • Reserve de 1.8-12 a 1.8-11
    • RSQLite de 2.2.20 a 2.3.1
    • rstudioapi de 0.14 a 0.15.0
    • atualização do sass de 0.4.5 para 0.4.6
    • brilhante de 1.7.4 a 1.7.4.1
    • Sparklyr de 1.7.9 a 1.8.1
    • SparkR de 3.4.1 a 3.5.0
    • splines de 4.2.2 a 4.3.1
    • Estatísticas de 4.2.2 a 4.3.1
    • stats4 de versão 4.2.2 a versão 4.3.1
    • sobrevivência de 3,5-3 para 3,5-5
    • sys da versão 3.4.1 para a 3.4.2
    • tcltk de 4.2.2 a 4.3.1
    • testthat de 3.1.6 a 3.1.10
    • Tibble de 3.1.8 a 3.2.1
    • Tidyverse de 1.3.2 a 2.0.0
    • tinytex da versão 0.44 para a versão 0.45
    • Ferramentas da versão 4.2.2 à 4.3.1
    • TZDB de 0.3.0 a 0.4.0
    • usethis da versão 2.1.6 para a versão 2.2.2
    • utils de 4.2.2 a 4.3.1
    • vctrs de 0.5.2 a 0.6.3
    • viridisLite de 0.4.1 a 0.4.2
    • vroom de 1.6.1 a 1.6.3
    • Waldo de 0.4.0 a 0.5.1
    • xfun de 0,37 a 0,39
    • xml2 de 1.3.3 a 1.3.5
    • zip de 2.2.2 para 2.3.0
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-annotations de 2.14.2 para 2.15.2
    • com.fasterxml.jackson.core.jackson-core de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.core.jackson-databind de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.4 a 2.15.1
    • com.fasterxml.jackson.module.jackson-module-paranamer de 2.14.2 a 2.15.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.14.2 a 2.15.2
    • com.github.luben.zstd-jni de 1.5.2-5 a 1.5.5-4
    • com.google.code.gson.gson de 2.8.9 a 2.10.1
    • com.google.crypto.tink.tink de 1.7.0 para 1.9.0
    • commons-codec.commons-codec passando da versão 1.15 para a 1.16.0
    • commons-io.commons-io de 2.11.0 a 2.13.0
    • io.airlift.aircompressor de 0.21 a 0.24
    • io.dropwizard.metrics.metrics-core de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-grafite de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-healthchecks de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jetty9 de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jmx de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-json de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-jvm de 4.2.10 a 4.2.19
    • io.dropwizard.metrics.metrics-servlets de 4.2.10 a 4.2.19
    • io.netty.netty-all de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-buffer de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-http2 de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-codec-socks de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-common de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-handler-proxy de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-resolver de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transporte de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-epoll de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.87.Final a 4.1.93.Final
    • io.netty.netty-transport-native-epoll de 4.1.87.Final-linux-x86_64 a 4.1.93.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-x86_64 a 4.1.93.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common de 4.1.87.Final a 4.1.93.Final
    • org.apache.arrow.arrow-format de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-core de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-memory-netty de 11.0.0 a 12.0.1
    • org.apache.arrow.arrow-vector de 11.0.0 a 12.0.1
    • org.apache.avro.avro de 1.11.1 a 1.11.2
    • org.apache.avro.avro-ipc de 1.11.1 a 1.11.2
    • org.apache.avro.avro-mapred de 1.11.1 a 1.11.2
    • org.apache.commons.commons-compress de 1.21 a 1.23.0
    • org.apache.hadoop.hadoop-client-runtime de 3.3.4 a 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-api de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-core de 2.19.0 a 2.20.0
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.19.0 a 2.20.0
    • org.apache.orc.orc-core de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf para 1.9.0-shaded-protobuf
    • org.apache.orc.orc-shims de 1.8.4 a 1.9.0
    • org.apache.xbean.xbean-asm9-shaded de 4.22 a 4.23
    • org.checkerframework.checker-qual de 3.19.0 a 3.31.0
    • org.glassfish.jersey.containers.jersey-container-servlet de 2.36 a 2.40
    • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-client de 2.36 para 2.40
    • org.glassfish.jersey.core.jersey-comum de 2,36 a 2,40
    • org.glassfish.jersey.core.jersey-server de 2.36 a 2.40
    • org.glassfish.jersey.inject.jersey-hk2 de 2,36 a 2,40
    • org.javassist.javassist de 3.25.0-GA a 3.29.2-GA
    • org.mariadb.jdbc.mariadb-java-client de 2.7.4 até 2.7.9
    • org.postgresql.postgresql de 42.3.8 a 42.6.0
    • org.roaringbitmap.RoaringBitmap de 0.9.39 a 0.9.45
    • org.roaringbitmap.shims de 0.9.39 a 0.9.45
    • org.rocksdb.rocksdbjni de 7.8.3 para 8.3.2
    • org.scala-lang.modules.scala-collection-compat_2.12 de 2.4.3 a 2.9.0
    • org.slf4j.jcl-over-slf4j de 2.0.6 a 2.0.7
    • org.slf4j.jul-to-slf4j de 2.0.6 para 2.0.7
    • org.slf4j.slf4j-api de 2.0.6 a 2.0.7
    • org.xerial.snappy.snappy-java da versão 1.1.10.1 para 1.1.10.3
    • org.yaml.snakeyaml de 1,33 a 2,0

Apache Spark

Databricks Runtime 14.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Corrija as funções aes_decrypt e ln no Connect
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Corrija namedtuples herdados para trabalhar em createDataFrame
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] O cache do CodeGenerator deve ser específico do carregador de classes
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Faça com que as consultas de streaming funcionem com o gerenciamento de artefatos do Connect
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Faça o ArrowDeserializer funcionar com classes geradas pelo REPL
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Corrigir Python UDF otimizado para Arrow no Spark Connect
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Suporta funções python protobuf para Spark Connect
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Remova a função uuid/random/chr do PySpark
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Corrigir valores de metadados para artefatos
  • [SPARK-44822] [DBRRM-464][python][SQL] Tornar por defeito as UDTFs do Python não determinísticas
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Flecha de Refatoração Python UDTF
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Adicionar metadados de cliente ausentes às chamadas
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: O objeto 'NoneType' não tem nenhum atributo 'message'
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager para controlar todas as execuções
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Desativar a otimização de Arrow predefinida para UDTFs em Python
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Executar ExecuteGrpcResponseSender em execução reanexável em nova thread para corrigir o controle de fluxo
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Tornar todos os iteradores em CloseableIterators
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Retentar ExecutePlan caso o pedido inicial não tenha chegado ao servidor no cliente Python
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Tente novamente ExecutePlan caso a solicitação inicial não chegue ao servidor
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Os erros movidos para sq/api também devem usar AnalysisException
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Adicionar objeto Encoders
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Acompanhamento do encerramento da consulta de streaming quando a sessão do cliente atinge o tempo limite do Spark Connect
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute em ExecutePlanResponseReattachableIterator depois de receber um erro vindo do servidor
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Remover dependência do Catalyst do cliente Connect
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Liberte a execução ao fechar o iterador no cliente Python
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Remova o diretório baseado em sessão quando o cache de sessão isolado for removido
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Não deixe iteradores pendentes
  • [SPARK-44424] [DBRRM-396][conectar][PYTHON][14.0.0] Python cliente para religar à execução existente no Spark Connect
  • [SPARK-44637] [SC-138571] Sincronizar acessos a ExecuteResponseObserver
  • [SPARK-44538] [SC-138178][connect][SQL] Restabelecer Row.jsonValue e amigos
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Execução reconectável no Spark Connect
  • [SPARK-44418] [SC-136807][python][CONNECT] Atualize o protobuf de 3.19.5 para 3.20.3
  • [SPARK-44587] [SC-138315][sql][CONNECT] Aumentar o limite de recursão do marshaller protobuf
  • [SPARK-44591] [SC-138292][connect][SQL] Adicionar jobTags a SparkListenerSQLExecutionStart
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations deve reter metadados Alias ao criar uma nova instância
  • [SPARK-44542] [SC-138323][core] Carregue ansiosamente a classe SparkExitCode no manipulador de exceções
  • [SPARK-44264] [SC-138143][python]E2E Teste para Deepspeed
  • [SPARK-43997] [SC-138347][conectar] Adicionar suporte para Java UDFs
  • [SPARK-44507] [SQL][connect][14.x][14.0] Mover AnalysisException para sql/api
  • [SPARK-44453] [SC-137013][python] Use difflib para exibir erros em assertDataFrameEqual
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Adicionar uma página da interface do usuário do Spark para o Spark Connect
  • [SPARK-44611] [SC-138415][connect] Não exclua scala-xml
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Mover a inferência do codificador para sql/api
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] Corrigir problema de carregamento de classe causado...
  • [SPARK-44590] [SC-138296][sql][CONNECT] Remova o limite de registro de lote de seta para SqlCommandResult
  • [SPARK-43968] [SC-138115][python] Melhorar mensagens de erro para Python UDTFs com número errado de saídas
  • [SPARK-44432] [SC-138293][ss][CONNECT] Encerrar consultas de streaming quando uma sessão expira no Spark Connect
  • [SPARK-44584] [SC-138295][connect] Definir informações client_type para AddArtifactsRequest e ArtifactStatusesRequest no cliente Scala
  • [SPARK-44552] [14.0][sc-138176][SQL] Eliminar a definição de private object ParseState do IntervalUtils
  • [SPARK-43660] [SC-136183][connect][PS] Ativar resample com o Spark Connect
  • [SPARK-44287] [SC-136223][sql] Use a API PartitionEvaluator nos operadores SQL RowToColumnarExec & ColumnarToRowExec.
  • [SPARK-39634] [SC-137566][sql] Permitir a divisão de arquivos em combinação com a geração de índice de linha
  • [SPARK-44533] [SC-138058][python] Adicionar suporte para ficheiros de acumulador, broadcast e Spark na análise Python UDTF
  • [SPARK-44479] [SC-138146][python] Corrija o ArrowStreamPandasUDFSerializer para aceitar pandas DataFrame sem colunas
  • [SPARK-44425] [SC-138177][connect] Valide se sessionId fornecido pelo usuário é um UUID
  • [SPARK-44535] [SC-138038][connect][SQL] Mover a API de streaming necessária para sql/api
  • [SPARK-44264] [SC-136523][ml][PYTHON] Escreva uma classe de aprendizagem distribuída usando Deepspeed, DeepspeedTorchDistributor
  • [SPARK-42098] [SC-138164][sql] Fix ResolveInlineTables não pode manipular com a expressão RuntimeReplaceable
  • [SPARK-44060] [SC-135693][sql] Geração de código para junção de hash embaralhada externa do lado da construção
  • [SPARK-44496] [SC-137682][sql][CONNECT] Mover interfaces necessárias para SCSC para sql/api
  • [SPARK-44532] [SC-137893][connect][SQL] Mover ArrowUtils para sql/api
  • [SPARK-44413] [SC-137019][python] Esclarecer erro para tipo de dados arg não suportado em assertDataFrameEqual
  • [SPARK-44530] [SC-138036][core][CONNECT] Mover SparkBuildInfo para o common/util
  • [SPARK-36612] [SC-133071][sql] Suporte a junção externa esquerda construir a junção externa esquerda ou direita construir à direita na junção hash embaralhada
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils gerou parâmetros incorretos para jars
  • [SPARK-44449] [SC-137818][connect] Upcasting para desserialização direta de Arrow
  • [SPARK-44131] [SC-136346][sql] Adicionar call_function e substituir call_udf para a API do Scala
  • [SPARK-44541] [SQL] Remover funções inúteis de hasRangeExprAgainstEventTimeCol no UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] O maxRows/maxRowsPerPartition do filtro é 0 se a condição for um LiteralFalso
  • [SPARK-44540] [SC-137873][ui] Remover folhas de estilo e arquivos javascript não utilizados de jsonFormatter
  • [SPARK-44466] [SC-137856][sql] Excluir configurações começando com SPARK_DRIVER_PREFIX e SPARK_EXECUTOR_PREFIX de modifiedConfigs
  • [SPARK-44477] [SC-137508][sql] Trate TYPE_CHECK_FAILURE_WITH_HINT como uma subclasse de erro
  • [SPARK-44509] [SC-137855][python][CONNECT] Adicionar API de cancelamento de tarefas definida no cliente Spark Connect Python
  • [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções incorporadas
  • [SPARK-38476] [SC-136448][core] Usar classe de erro em org.apache.spark.storage
  • [SPARK-44486] [SC-137817][python][CONNECT] Implemente o recurso PyArrow self_destruct para toPandas
  • [SPARK-44361] [SC-137200][sql] Usar a API PartitionEvaluator no MapInBatchExec
  • [SPARK-44510] [SC-137652][ui] Atualize dataTables para 1.13.5 e remova alguns arquivos png não alcançados
  • [SPARK-44503] [SC-137808][sql] Adicionar gramática SQL para PARTITION BY e ORDER BY cláusula após TABLE argumentos para chamadas TVF
  • [SPARK-38477] [SC-136319][core] Use a classe de erro em org.apache.spark.shuffle
  • [SPARK-44299] [SC-136088][sql] Atribua nomes à classe de erro _LEGACY_ERROR_TEMP_227[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Interrupção granulada fina do Spark Connect
  • [SPARK-44380] [SC-137415][sql][PYTHON] Suporte para UDTF do Python para analisar em Python
  • [SPARK-43923] [SC-137020][connect] Publicar eventos no listenerBus durante...
  • [SPARK-44303] [SC-136108][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2320-2324]
  • [SPARK-44294] [SC-135885][ui] Corrigir situação em que a coluna HeapHistogram é mostrada inesperadamente com a caixa de seleção de tudo.
  • [SPARK-44409] [SC-136975][sql] Manipule char/varchar em Dataset.to para manter a consistência com os outros
  • [SPARK-44334] [SC-136576][sql][UI] O status na resposta da API REST para uma DDL/DML com falha sem trabalhos deve ser FALHADO em vez de CONCLUÍDO
  • [SPARK-42309] [SC-136703][sql] Introdução INCOMPATIBLE_DATA_TO_TABLE e subclasses.
  • [SPARK-44367] [SC-137418][sql][UI] Mostrar mensagem de erro na interface do usuário para cada consulta com falha
  • [SPARK-44474] [SC-137195][connect] Reativar "Test observe response" no SparkConnectServiceSuite
  • [SPARK-44320] [SC-136446][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][conectar] O log de inicialização do Connect Server deve exibir o nome do host e a porta
  • [SPARK-44309] [SC-136193][ui] Mostrar Tempo de Adição/Remoção dos Executores na aba Executores
  • [SPARK-42898] [SC-137556][sql] Indique que as conversões de string/data não precisam de identificação de fuso horário
  • [SPARK-44475] [SC-137422][sql][CONNECT] Realoque DataType e Parser para sql/api
  • [SPARK-44484] [SC-137562][ss]Adicionar batchDuration ao método json StreamingQueryProgress
  • [SPARK-43966] [SC-137559][sql][PYTHON] Suporta funções não determinísticas com valor de tabela
  • [SPARK-44439] [SC-136973][connect][SS] Corrigiu listListeners para apenas enviar ids de volta ao cliente
  • [SPARK-44341] [SC-137054][sql][PYTHON] Defina a lógica de computação através da API PartitionEvaluator e use-a em WindowExec e WindowInPandasExec
  • [SPARK-43839] [SC-132680][sql] Converter _LEGACY_ERROR_TEMP_1337 em UNSUPPORTED_FEATURE.TIME_TRAVEL
  • [SPARK-44244] [SC-135703][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Adicionar suporte para Streaming Listener no Scala for Spark Connect
  • [SPARK-44260] [SC-135618][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[1215-1245-2329] e use checkError() para verificar a exceção em _CharVarchar_Suite
  • [SPARK-42454] [SC-136913][sql] SPJ: encapsular todos os parâmetros relacionados ao SPJ no BatchScanExec
  • [SPARK-44292] [SC-135844][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2315-2319]
  • [SPARK-44396] [SC-137221][connect] Desserialização direta do Arrow
  • [SPARK-44324] [SC-137172][sql][CONNECT] Mover CaseInsensitiveMap para sql/api
  • [SPARK-44395] [SC-136744][sql] Adicionar teste de volta ao StreamingTableSuite
  • [SPARK-44481] [SC-137401][connect][PYTHON] Fazer com que pyspark.sql.is_remote seja uma API
  • [SPARK-44278] [SC-137400][connect] Implemente um intercetador de servidor GRPC que limpe as propriedades locais do thread
  • [SPARK-44264] [SC-137211][ml][PYTHON] Suporte Treinamento Distribuído de Funções Usando Deepspeed
  • [SPARK-44430] [SC-136970][sql] Adicionar causa para quando a AnalysisException opção é inválida
  • [SPARK-44264] [SC-137167][ml][PYTHON] Incorporando o FunctionPickler no TorchDistributor
  • [SPARK-44216] [SC-137046] [PYTHON] Tornar pública a API assertSchemaEqual
  • [SPARK-44398] [SC-136720][connect] API Scala foreachBatch
  • [SPARK-43203] [SC-134528][sql] Mover todos os casos de eliminação de tabelas para DataSource V2
  • [SPARK-43755] [SC-137171][connect][MINOR] Abrir AdaptiveSparkPlanHelper.allChildren em vez de usar copy in MetricGenerator
  • [SPARK-44264] [SC-137187][ml][PYTHON] Reestruturação do TorchDistributor para permitir um ponteiro de função personalizado para "run_training_on_file"
  • [SPARK-43755] [SC-136838][connect] Mova a execução de SparkExecutePlanStreamHandler para um thread diferente
  • [SPARK-44411] [SC-137198][sql] Usar a API PartitionEvaluator em ArrowEvalPythonExec e BatchEvalPythonExec
  • [SPARK-44375] [SC-137197][sql] Utilizar a API PartitionEvaluator no DebugExec
  • [SPARK-43967] [SC-137057][python] Suportam UDTFs de Python regulares com valores de retorno vazios
  • [SPARK-43915] [SC-134766][sql] Atribua nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Suporte para UDTF em Python no Spark Connect
  • [SPARK-44154] [SC-137050][sql] Adicionado mais testes de unidade ao BitmapExpressionUtilsSuite e feito pequenas melhorias nas expressões de agregação de bitmap
  • [SPARK-44169] [SC-135497][sql] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] Remover StructType.toAttributes
  • [SPARK-43964] [SC-136676][sql][PYTHON] Suporte para UDTFs Python otimizados com Arrow
  • [SPARK-44321] [SC-136308][connect] Desacoplar ParseException de AnalysisException
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Reative test_artifact com alterações relevantes
  • [SPARK-44145] [SC-136698][sql] Retorno de chamada quando pronto para execução
  • [SPARK-43983] [SC-136404][python][ML][connect] Ativar teste de estimador de validador cruzado
  • [SPARK-44399] [SC-136669][python][CONNECT] Importar o SparkSession no Python UDF apenas quando o useArrow é none
  • [SPARK-43631] [SC-135300][connect][PS] Ativar Series.interpolate com Spark Connect
  • [SPARK-44374] [SC-136544][python][ML] Adicionar código de exemplo para ML distribuído para Spark Connect
  • [SPARK-44282] [SC-135948][connect] Preparar a análise de DataType para uso no Cliente Scala do Spark Connect
  • [SPARK-44052] [SC-134469][connect][PS] Adicionar ferramenta para obter a classe adequada de Column ou DataFrame para o Spark Connect.
  • [SPARK-43983] [SC-136404][python][ML][connect] Implementar estimador de validação cruzada
  • [SPARK-44290] [SC-136300][connect] Ficheiros e arquivos baseados em sessão no Spark Connect
  • [SPARK-43710] [SC-134860][ps][CONNECT] Suporte functions.date_part para Spark Connect
  • [SPARK-44036] [SC-134036][connect][PS] Limpar e consolidar tickets para simplificar as tarefas.
  • [SPARK-44150] [SC-135790][python][CONNECT] Casting explícito de Arrow para tipo de retorno incompatível no Arrow Python UDF
  • [SPARK-43903] [SC-134754][python][CONNECT] Melhorar o suporte de entrada de ArrayType no Arrow Python UDF
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementar avaliador de classificação
  • [SPARK-44255] [SC-135704][sql] Realoque StorageLevel para common/utils
  • [SPARK-42169] [SC-135735] [SQL] Implementar geração de código para a função to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] Refatore PythonUDTFRunner para enviar seu tipo de retorno separadamente
  • [SPARK-43353] [SC-132734][python] Migrar os erros de sessão restantes para a classe de erros
  • [SPARK-44133] [SC-134795][python] Atualize o MyPy de 0,920 para 0,982
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Serde de eventos em formato JSON
  • [SPARK-43353] Desfazer "[SC-132734][es-729763][PYTHON] Migrou os erros de sessão restantes para a classe de erro"
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] Mover namespace de pyspark.mlv2 para pyspark.ml.connect
  • [SPARK-44220] [SC-135484][sql] Mover StringConcat para sql/api
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listFunctions
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Implementar estimador de pipeline para ML no spark connect
  • [SPARK-43888] [SC-132893][core] Realoque o registro em log para common/utils
  • [SPARK-42941] Reverter “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Evento Serde em formato JSON”
  • [SPARK-43624] [SC-134557][ps][CONNECT] Adicionar EWM ao SparkConnectPlanner.
  • [SPARK-43981] [SC-134137][python][ML] Implementação básica de salvamento/carregamento para ML no spark connect
  • [SPARK-43205] [SC-133371][sql] corrigir SQLQueryTestSuite
  • [SPARK-43376] Reverter “[SC-130433][sql] Melhorar a reutilização de subconsulta com cache de tabela”
  • [SPARK-44040] [SC-134366][sql] Corrigir estatísticas de cálculo quando o nó AggregateExec está acima de QueryStageExec
  • [SPARK-43919] [SC-133374][sql] Extraia a funcionalidade JSON da linha
  • [SPARK-42618] [SC-134433][python][PS] Aviso para as mudanças de comportamento relacionadas aos pandas na próxima versão principal
  • [SPARK-43893] [SC-133381][python][CONNECT] Suporte a tipos de dados não atómicos em Python UDF otimizado para Arrow
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Ativar pyspark.pandas.spark.functions.{kurt, skew} no Spark Connect.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Suporte Python funções de tabela definidas pelo utilizador
  • [SPARK-43616] [SC-133849][ps][CONNECT] Ativar pyspark.pandas.spark.functions.mode no Spark Connect
  • [SPARK-43133] [SC-133728] Suporte para Scala Client DataStreamWriter Foreach
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correção (NullOps|NumOps).(eq|ne) para o Spark Connect.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Ativar pyspark.pandas.spark.functions.{var, stddev} no Spark Connect
  • [SPARK-43617] [SC-133893][ps][CONNECT] Ativar pyspark.pandas.spark.functions.product no Spark Connect
  • [SPARK-43610] [SC-133832][connect][PS] Ativar InternalFrame.attach_distributed_column no Spark Connect.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Ativar pyspark.pandas.spark.functions.repeat no Spark Connect
  • [SPARK-43921] [SC-133461][protobuf] Gerar arquivos descritores Protobuf em tempo de compilação
  • [SPARK-43613] [SC-133727][ps][CONNECT] Ativar pyspark.pandas.spark.functions.covar no Spark Connect
  • [SPARK-43376] [SC-130433][sql] Aprimorar a reutilização de subconsultas com cache de tabela
  • [SPARK-43612] [SC-132011][connect][PYTHON] Implementar o SparkSession.addArtifact(s) no cliente Python
  • [SPARK-43920] [SC-133611][sql][CONNECT] Criar módulo sql/api
  • [SPARK-43097] [SC-133372][ml] Novo estimador de regressão logística do PySpark ML implementado sobre o distribuidor
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Fazer com que o MLv2 (ML em spark connect) ofereça suporte a pandas >= 2.0
  • [SPARK-43024] [SC-132716][python] Atualize os pandas para 2.0.0
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listDatabases
  • [SPARK-39281] [SC-131422][sql] Acelere a inferência do tipo Timestamp com o formato herdado na fonte de dados JSON/CSV
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listCatalogs
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] API do Cliente Python DataStreamWriter foreach()
  • [SPARK-43545] [SC-132378][sql][PYTHON] Suporte para tipo de timestamp aninhado
  • [SPARK-43353] [SC-132734][python] Migrar os erros de sessão restantes para a classe de erros
  • [SPARK-43304] [SC-129969][connect][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] Interfaces base do sparkML para spark3.5: estimador/transformador/modelo/avaliador
  • [FAÍSCA-43128] Reverter mudanças em “[SC-131628][connect][SS] Garantir que recentProgress e lastProgress retornem StreamingQueryProgress de forma consistente com a API nativa do Scala”
  • [SPARK-43543] [SC-131839][python] Corrigir o comportamento MapType aninhado no Pandas UDF
  • [SPARK-38469] [SC-131425][core] Use a classe de erro em org.apache.spark.network
  • [SPARK-43309] [SC-129746][spark-38461][CORE] Estenda INTERNAL_ERROR com categorias e adicione classe de erro INTERNAL_ERROR_BROADCAST
  • [SPARK-43265] [SC-129653] Mover o framework de erro para um módulo utils comum
  • [SPARK-43440] [SC-131229][python][CONNECT] Registo de suporte de um Python UDF otimizado para Arrow
  • [SPARK-43528] [SC-131531][sql][PYTHON] Suporta nomes de campos duplicados em createDataFrame com pandas DataFrame
  • [SPARK-43412] [SC-130990][python][CONNECT] Introduza o SQL_ARROW_BATCHED_UDF EvalType para UDFs Python otimizados para seta
  • [SPARK-40912] [SC-130986][core]Sobrecarga de exceções no KryoDeserializationStream
  • [SPARK-39280] [SC-131206][sql] Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV
  • [SPARK-43473] [SC-131372][python] Suporte para o tipo struct no createDataFrame a partir do pandas DataFrame
  • [SPARK-43443] [SC-131024][sql] Adicionar benchmark para inferência do tipo Timestamp quando usar um valor inválido
  • [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
  • [SPARK-43296] [SC-130627][connect][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
  • [SPARK-43324] [SC-130455][sql] Manipular UPDATE comandos para fontes baseadas em delta
  • [SPARK-43347] [SC-130148][python] Remover Python suporte 3.7
  • [SPARK-43292] [SC-130525][core][CONNECT] Transferir ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Adicionar carregador de dados do distribuidor da tocha que carrega dados de dados de partição de faísca
  • [SPARK-43331] [SC-130061][connect] Adicionar Spark Connect SparkSession.interruptAll
  • [SPARK-43306] [SC-130320][python] Migrar ValueError de tipos SQL do Spark para a classe de erro
  • [SPARK-43261] [SC-129674][python] Migre TypeError de tipos SQL do Spark para a classe de erro.
  • [SPARK-42992] [SC-129465][python] Introduza PySparkRuntimeError
  • [SPARK-16484] [SC-129975][sql] Adicionar suporte para Datasketches HllSketch
  • [SPARK-43165] [SC-128823][sql] Mover 'canWrite' para 'DataTypeUtils'
  • [SPARK-43082] [SC-129112][connect][PYTHON] UDFs Python otimizados com Arrow no Spark Connect
  • [SPARK-43084] [SC-128654] [SS] Adicionar suporte applyInPandasWithState para Spark Connect
  • [SPARK-42657] [SC-128621][connect] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
  • [SPARK-43098] [SC-77059][sql] Corrija o bug de correção de contagem quando a subconsulta escalar tiver uma cláusula GROUP BY
  • [SPARK-42884] [SC-126662][connect] Adicionar integração do Ammonite REPL
  • [SPARK-42994] [SC-128333][ml][CONNECT] Distribuidor PyTorch com suporte para Modo Local
  • [SPARK-41498] [SC-125343]Reverter "Propagar metadados através do Union"
  • [SPARK-42993] [SC-127829][ml][CONNECT] Tornar o PyTorch Distribuidor compatível com o Spark Connect
  • [SPARK-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
  • [SPARK-42874] [SC-126442][sql] Habilite a nova estrutura de teste de arquivo dourado para análise de todos os arquivos de entrada
  • [SPARK-42779] [SC-126042][sql] Permitir gravações V2 para indicar o tamanho da partição aleatória consultiva
  • [SPARK-42891] [SC-126458][connect][PYTHON] Implementar API de Mapa Coagrupado
  • [SPARK-42791] [SC-126134][sql] Crie uma nova estrutura de teste de arquivo dourado para análise
  • [SPARK-42615] [SC-124237][connect][PYTHON] Refatorizar o RPC do AnalyzePlan e adicionar session.version
  • [SPARK-41302] Reverter "[TODOS os TESTES][sc-122423][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1185"
  • [SPARK-40770] [SC-122652][python] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-40770] Reversão de “[ALL TESTS][sc-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas devido a incompatibilidade de esquema”
  • [SPARK-42398] [SC-123500][sql] Refinar o valor da coluna padrão Interface DS v2
  • [SPARK-40770] [TODOS OS TESTES][SC-122652][PYTHON] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-40770] Reverter "[SC-122652][python] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-40770] [SC-122652][python] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-42038] [TODOS OS TESTES] Reverter "Reverter “[SC-122533][sql] SPJ: Suporte à distribuição parcialmente clusterizada”"
  • [SPARK-42038] Reverter “[SC-122533][sql] SPJ: Suporte para distribuição parcialmente clusterizada”
  • [SPARK-42038] [SC-122533][sql] SPJ: Suporte a distribuição parcialmente agrupada
  • [SPARK-40550] [SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta
  • [SPARK-40770] Reverter "[SC-122652][python] Mensagens de erro melhoradas para applyInPandas para incompatibilidade de esquema"
  • [SPARK-40770] [SC-122652][python] Mensagens de erro melhoradas para applyInPandas por incompatibilidade de esquema
  • [SPARK-41302] Reverter "[SC-122423][sql] Dar nome a _LEGACY_ERROR_TEMP_1185"
  • [FAÍSCA-40550] Reverter "[SC-120989][sql] DataSource V2: Manipular comandos DELETE para fontes baseadas em delta"
  • [FAÍSCA-42123] Reverter "[SC-121453][sql] Incluir valores padrão de coluna em DESCRIBE e SHOW CREATE TABLE saída"
  • [SPARK-42146] [SC-121172][core] Refatorar Utils#setStringField para garantir que a compilação do Maven seja bem-sucedida quando o módulo SQL usar este método
  • [SPARK-42119] Reverter “[SC-121342][sql] Adicionar funções incorporadas com valor de tabela inline e inline_outer”

Destaques

Conexão Spark

  • Refatoração do módulo sql em sql e sql-api para produzir um conjunto mínimo de dependências que pode ser compartilhado entre o cliente Scala Spark Connect e o Spark, evitando extrair todas as dependências transitivas do Spark. SPARK-44273
  • Apresentando o cliente Scala para Spark Connect SPARK-42554
  • Suporte API Pandas para o cliente Python Spark Connect SPARK-42497
  • Suporte de ML distribuído baseado em PyTorch para Spark Connect SPARK-42471
  • Suporte de Streaming Estruturado para Spark Connect em Python e Scala SPARK-42938
  • Versão inicial do cliente Go SPARK-43351
  • Muitas melhorias de compatibilidade entre o Spark nativo e os clientes Spark Connect em Python e Scala
  • Melhor capacidade de análise de erros e tratamento de solicitações para aplicativos cliente (processamento assíncrono, tentativas, consultas persistentes)

Spark SQL

Características

  • Adicionar a coluna de metadados com início e comprimento do bloco de arquivos SPARK-42423
  • Suportar parâmetros posicionais em Scala/Java sql() SPARK-44066
  • Adicionar suporte a parâmetros nomeados no analisador para chamadas de função SPARK-43922
  • Suporte SELECT DEFAULT com ORDER BY, LIMIT, OFFSET para INSERT relação de origem SPARK-43071
  • Adicione gramática SQL para PARTITION BY e cláusula ORDER BY após os argumentos TABLE para chamadas TVF SPARK-44503
  • Inclua valores padrão de coluna em DESCRIBE e na saída SHOW CREATE TABLESPARK-42123
  • Adicionar padrão opcional para Catalog.listCatalogs SPARK-43792
  • Adicionar padrão opcional para Catalog.listDatabases SPARK-43881
  • Função de retorno quando estiver pronta para execução SPARK-44145
  • Suporte instrução de inserção por nome SPARK-42750
  • Adicionar call_function para Scala API SPARK-44131
  • Aliases estáveis de colunas derivadas SPARK-40822
  • Ofereça suporte a expressões constantes gerais como valores CREATE/REPLACE TABLE OPTIONS SPARK-43529
  • Suporte a subconsultas correlacionadas com INTERSECT/EXCEPT SPARK-36124
  • IDENTIFIER cláusula SPARK-43205
  • ANSI MODE: Conv deverá retornar um erro se a conversão interna ultrapassar SPARK-42427

Funções

  • Adicionar suporte para Datasketches HllSketch SPARK-16484
  • Suporta o modo CBC por aes_encrypt()/aes_decrypt() SPARK-43038
  • Suporte TABLE regra de analisador de argumentos para TableValuedFunction SPARK-44200
  • Implementar funções bitmap SPARK-44154
  • Adicione a função try_aes_decrypt() SPARK-42701
  • array_insert deve falhar com o índice 0 SPARK-43011
  • Adicionar to_varchar alias para to_char SPARK-43815
  • Implementação de função de alta ordem: array_compact SPARK-41235
  • Adicionar suporte ao analisador para argumentos nomeados nas funções internas SPARK-44059
  • Adicione NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino SPARK-42521
  • Adiciona suporte para aes_encrypt IVs e AAD SPARK-43290
  • A função DECODE retorna resultados errados quando passado NULL SPARK-41668
  • Suporte udf 'luhn_check' SPARK-42191
  • Suporte à resolução implícita de alias da coluna lateral no agregado SPARK-41631
  • Suporta alias de coluna lateral implícito em consultas com o Window SPARK-42217
  • Adicionar aliases de função 3-args DATE_ADD e DATE_DIFF SPARK-43492

Fontes de dados

  • Suporte de Char/Varchar para o catálogo JDBC SPARK-42904
  • Suportar a obtenção de palavras-chave SQL dinamicamente através da API JDBC e TVF SPARK-43119
  • DataSource V2: Manipular comandos MERGE para fontes baseadas em delta SPARK-43885
  • DataSource V2: Gerir comandos MERGE para fontes baseadas em grupo SPARK-43963
  • DataSource V2: Lidar com comandos UPDATE para fontes baseadas em grupo SPARK-43975
  • DataSource V2: Permite representar atualizações como exclusões e inserções SPARK-43775
  • Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela SPARK-41516
  • SPJ: Suporte distribuição parcialmente agrupada SPARK-42038
  • O DSv2 permite que o CTAS/RTAS reserve a anulabilidade do esquema SPARK-43390
  • Adicionar spark.sql.files.maxPartitionNum SPARK-44021
  • Manipule comandos de UPDATE para fontes baseadas em delta SPARK-43324
  • Permitir gravações V2 para indicar o tamanho da partição de shuffle consultivo SPARK-42779
  • Suportar codec de compressão lz4raw para Parquet SPARK-43273
  • Avro: escrevendo uniões complexas SPARK-25050
  • Acelere a inferência do tipo Timestamp com o formato fornecido pelo usuário na fonte de dados JSON/CSV SPARK-39280
  • Avro para suportar o tipo decimal personalizado apoiado por Long SPARK-43901
  • Evite redistribuição em Storage-Partitioned Join quando as chaves de partição não coincidirem, mas as expressões de junção forem compatíveis SPARK-41413
  • Alterar dados binários para tipo de dados não suportado no formato CSV SPARK-42237
  • Permitir que o Avro converta o tipo de união em SQL com um nome de campo estável, do tipo SPARK-43333
  • Agilize a inferência do tipo Timestamp com o formato herdado na fonte de dados JSON/CSV associado ao SPARK-39281

Otimização de Consultas

  • Suporte para eliminação de subexpressões em expressões de atalho SPARK-42815
  • Aperfeiçoe a estimativa das estatísticas de junção se um dos lados conseguir manter a exclusividade SPARK-39851
  • Introduza o limite de grupo da Janela para filtro baseado em classificação para otimizar a computação top-k SPARK-37099
  • Corrigir o comportamento do operador IN com valor nulo (lista vazia) nas regras de otimização SPARK-44431
  • Infera e empurre para baixo o limite da janela através da janela se partitionSpec estiver vazio SPARK-41171
  • Remova a junção externa se todas forem funções agregadas distintas SPARK-42583
  • Recolher duas janelas adjacentes com a mesma partição/ordem na subconsulta SPARK-42525
  • Limitação de propagação em UDFs do Python SPARK-42115
  • Otimize a ordem dos predicados de filtragem SPARK-40045

Geração de código e execução de consultas

  • O filtro de tempo de execução deve suportar o lado de junção de vários níveis de shuffle como o lado de criação do filtro SPARK-41674
  • Suporte de geração de código para HiveSimpleUDF SPARK-42052
  • Suporte de Geração de Código para HiveGenericUDF SPARK-42051
  • Suporte de Codegen para junção de hash externa com embaralhamento no lado de construção SPARK-44060
  • Implementar geração de código para to_csv função (StructsToCsv) SPARK-42169
  • Tornar o InMemoryTableScanExec suportado pelo AQE SPARK-42101
  • Suporte para construir junção externa esquerda ou direita em junção de hash embaralhado SPARK-36612
  • Respeito ExigeDistribuiçãoAndOrdenação em CTAS/RTAS SPARK-43088
  • Coalesce buckets na junção aplicada no lado do fluxo de transmissão SPARK-43107
  • Configurar corretamente como anulável na chave de junção coalescida na união externa completa utilizando junção SPARK-44251
  • Corrigir a nulabilidade da subconsulta ListQuery no SPARK-43413

Outras mudanças notáveis

  • Definir corretamente nulo para chaves em junções USING SPARK-43718
  • Corrigir o erro de "COUNT(*) é null" na subconsulta escalar correlacionada SPARK-43156
  • Dataframe.joinWith outer-join deve retornar um valor nulo para linha não correspondida SPARK-37829
  • Renomeie automaticamente colunas de metadados conflitantes SPARK-42683
  • Documente as classes de erro do Spark SQL na documentação voltada para o usuário SPARK-42706

PySpark

Características

  • Suportar parâmetros posicionais em Python sql() SPARK-44140
  • Suportar SQL parametrizado no sql() SPARK-41666
  • Suporte Python funções de tabela definidas pelo utilizador SPARK-43797
  • Suporte para definir o executável do Python para as APIs de funções UDF e pandas nos trabalhadores durante o tempo de execução SPARK-43574
  • Adicionar DataFrame.offset ao PySpark SPARK-43213
  • Implemente dir() em pyspark.sql.dataframe.DataFrame para incluir colunas SPARK-43270
  • Adicionar opção para usar vetores grandes de largura variável para operações UDF de Arrow SPARK-39979
  • Permitir que mapInPandas / mapInArrow suportem a execução no modo de barreira SPARK-42896
  • Adicionar APIs JobTag ao PySpark SparkContext SPARK-44194
  • Suporte para o UDTF do Python para análise em Python SPARK-44380
  • Expor TimestampNTZType em pyspark.sql.types SPARK-43759
  • Suporte para tipo aninhado de carimbo de data/hora SPARK-43545
  • Suporte para UserDefinedType na função createDataFrame a partir do pandas DataFrame e na função toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Adicionar a opção binária de descritor ao API do PySpark Protobuf SPARK-43799
  • Aceitar tuplas genéricas como anotações de tipo de UDF do Pandas SPARK-43886
  • Adicionar a função array_prepend SPARK-41233
  • Adicionar função utilitária assertDataFrameEqual SPARK-44061
  • Suporte para UDTFs Python otimizados com Apache Arrow SPARK-43964
  • Permitir precisão personalizada para igualdade aproximada de precisão flutuante SPARK-44217
  • Tornar pública a API assertSchemaEqual SPARK-44216
  • Suporte fill_value para ps. Série SPARK-42094
  • Suporte struct type em createDataFrame de pandas DataFrame SPARK-43473

Outras mudanças notáveis

  • Adicionar suporte de preenchimento automático para df[|] em pyspark.sql.dataframe.DataFrame [SPARK-43892]
  • Descontinuar & as APIs que serão desativadas no pandas 2.0 [SPARK-42593]
  • Defina Python como o primeiro separador para os exemplos de código - Spark SQL, DataFrames and Datasets Guide SPARK-42493
  • A atualizar os restantes exemplos de código de documentação do Spark para mostrar Python por defeito SPARK-42642
  • Usar nomes de campo desduplicados ao criar Arrow RecordBatch [SPARK-41971]
  • Suporte a nomes de campos duplicados em createDataFrame com pandas DataFrame [SPARK-43528]
  • Permitir parâmetro colunas ao criar DataFrame com Séries [SPARK-42194]

Core

  • Agendar a finalização da mesclagem quando efetuar push na mesclagem ao reexecutar shuffleMapStage, mas sem tarefas em execução SPARK-40082
  • Introduzir o PartitionEvaluator para execução do operador SQL SPARK-43061
  • Permitir que ShuffleDriverComponent declare se os dados de embaralhamento são armazenados de forma confiável SPARK-42689
  • Adicione a limitação de máximo de tentativas para estágios para evitar tentativas infinitas SPARK-42577
  • Suporte a configuração de nível de log com configuração estática do Spark SPARK-43782
  • Otimizar PercentileHeap SPARK-42528
  • Adicionar argumento razão a TaskScheduler.cancelTasks SPARK-42602
  • Evite a repetição desnecessária de tarefas no executor desativado perdido se os dados aleatórios migrarem SPARK-41469
  • Corrigindo a subcontagem do acumulador no caso da tarefa de repetição com o cache rdd SPARK-41497
  • Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão SPARK-42277
  • Invólucro NonFateSharingCache para Guava Cache SPARK-43300
  • Melhorar o desempenho de MapOutputTracker.updateMapOutput SPARK-43043
  • Permitindo que as aplicações controlem se seus metadados são salvos no banco de dados pelo Serviço de Embaralhamento Externo SPARK-43179
  • Adicionar a variável de ambiente SPARK_DRIVER_POD_IP aos pods executor SPARK-42769
  • Monta o mapa de configuração do hadoop no pod executor SPARK-43504

Transmissão em Fluxo Estruturada

  • Adicione suporte para monitorizar o uso de memória de blocos fixados no armazenamento de estado RocksDB SPARK-43120
  • Adicionar os aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado RocksDB SPARK-43311
  • Introduzir dropDuplicatesWithinWatermark SPARK-42931
  • Adicione um novo callback onQueryIdle() ao StreamingQueryListener SPARK-43183
  • Adicionar opção para ignorar coordenador de confirmação como parte da API StreamingWrite para fontes/coletores DSv2 SPARK-42968
  • Introduzir um novo callback "onQueryIdle" para o StreamingQueryListener SPARK-43183
  • Implementar o ponto de verificação baseado em Changelog para o provedor de armazenamento de estado RocksDB SPARK-43421
  • Adicionar suporte para WRITE_FLUSH_BYTES em RocksDB utilizado em operadores de streaming com estado SPARK-42792
  • Adicione suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usado no streaming SPARK-42819
  • A aquisição do bloqueio do StateStore do RocksDB deve ocorrer depois de obter o iterador de entrada do inputRDD SPARK-42566
  • Introduzir a propagação de marcas de água entre os operadores SPARK-42376
  • Limpe arquivos órfãos de sst e log no diretório de checkpoint do RocksDB SPARK-42353
  • Expanda QueryTerminatedEvent para conter a classe de erro se ela existir na exceção SPARK-43482

ML

  • Suporte ao treinamento distribuído de funções usando o Deepspeed SPARK-44264
  • Interfaces de base do sparkML para spark3.5: estimador/transformador/modelo/avaliador SPARK-43516
  • Faça com que o MLv2 (ML no spark connect) suporte pandas >= 2.0 SPARK-43783
  • Atualizar interfaces do transformador MLv2 SPARK-43516
  • Novo estimador de regressão logística pyspark ML implementado sobre o distribuidor SPARK-43097
  • Adicionar novamente o Classifier.getNumClasses SPARK-42526
  • Escreva uma classe de Aprendizagem Distribuída DeepspeedTorchDistributor SPARK-44264
  • Implementação básica de guardar/carregamento de dados para ML no Spark Connect SPARK-43981
  • Aprimorar o salvamento do modelo de regressão logística SPARK-43097
  • Implementar o estimador de pipeline para ML no Spark Connect SPARK-43982
  • Implementar estimador de validação cruzada SPARK-43983
  • Implementar avaliador de classificação para SPARK-44250
  • Tornar o PyTorch Distributor compatível com o Spark Connect SPARK-42993

IU

  • Adicionar uma página da interface do usuário do Spark para o Spark Connect SPARK-44394
  • Suportar coluna de histograma de pilha na guia Execuções SPARK-44153
  • Mostrar uma mensagem de erro na interface do utilizador para cada consulta com falha SPARK-44367
  • Mostrar o tempo de adição/removal de executores no separador Executores SPARK-44309

Construir e Outros

Remoções, Alterações de Comportamento e Descontinuações

Próxima remoção

Os seguintes recursos serão removidos na próxima versão principal do Spark:

  • O suporte para Java 8 e Java 11, e a versão Java com suporte mínimo será Java 17
  • Suporte para Scala 2.12, e a versão mínima suportada do Scala será 2.13

Guias de migração

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC,baixe JDBC).

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Lago Delta: 2.4.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-vinculações 21.2.0
AstTokens 2.0.5 Atributos 22.1.0 Chamada de retorno 0.2.0
Beautiful Soup 4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca 1.4 boto3 1.24.28 Botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 Chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Comunicação 0.1.2
contorno 1.0.5 criptografia 39.0.1 ciclista 0.11.0
Cython 0.29.32 Databricks-SDK 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorador 5.1.1 defusedxml 0.7.1
Distlib 0.3.7 docstring-para-markdown 0.11 pontos de entrada 0.4
executar 0.8.3 facetas-visão geral 1.1.1 fastjsonschema 2.18.0
bloqueio de arquivo 3.12.2 Fonttools 4.25.0 Biblioteca de tempo de execução do GCC 1.10.0
googleapis-common-protos 1.60.0 Grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.4 importlib-metadata 4.6.4
Ipykernel 6.25.0 IPython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 Joblib 1.2.0
jsonschema 4.17.3 Jupyter Client 7.3.4 jupyter-servidor 1.23.4
jupyter_core 5.2.0 Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0
porta-chaves 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 LXML 4.9.1
MarkupSafe 2.1.1 Matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 bloco de notas 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 OAuthlib 3.2.0 embalagem 22.0
pandas 1.5.3 PandocFilters 1.5.0 Parso 0.8.3
PathSpec 0.10.3 vítima 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Almofada 9.4.0 pip 22.3.1
platformdirs 2.5.2 enredo 5.9.0 pluggy 1.0.0
Prometheus-Cliente 0.14.1 kit de ferramentas de prompt 3.0.36 Protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 Pyarrow 8.0.0 Pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pigmentos 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pyrsistent 0.18.0
python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1
pytoolconfig 1.2.5 Pytz 2022.7 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transfer 0.6.1
scikit-learn (biblioteca de aprendizado de máquina em Python) 1.1.1 nascido no mar 0.12.2 Armazenamento Secreto 3.3.1
Send2Trash 1.8.0 Ferramentas de configuração 65.6.3 seis 1.16.0
sniffio 1.2.0 Soupsieve 2.3.2.post1 ssh-import-id 5.11
dados de pilha 0.2.0 statsmodels (uma biblioteca de Python para modelos estatísticos) 0.13.5 tenacidade 8.1.0
concluído 0.17.1 ThreadPoolCtl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 Tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions (extensões de digitação) 4.4.0 Ujson 5.4.0
Atualizações não supervisionadas 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 codificações da web 0.5.1
Websocket-cliente 0.58.0 whatthepatch (ferramenta para comparação de patches) 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 Yapf 0.31.0 zipp 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Posit Gestor de Pacotes a 13-07-2023.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 AskPass 1.1 asserir que 0.2.1
Retroportagens 1.4.1 base 4.3.1 base64enc 0.1-3
pouco 4.0.5 bit-64 4.0.5 blob 1.2.4
inicialização 1.3-28 fabricação de cerveja 1.0-8 Brio 1.1.3
vassoura 1.0.5 bslib 0.5.0 cachemira 1.0.8
Chamador 3.7.3 caret 6.0-94 CellRanger 1.1.0
crono 2.3-61 classe 7.3-22 CLI 3.6.1
Clipr 0.8.0 relógio 0.7.0 cluster 2.1.4
CodeTools 0.2-19 espaço de cores 2.1-0 marca comum 1.9.0
compilador 4.3.1 Configurações 0.3.1 conflituoso 1.2.0
cpp11 0.4.4 lápis de cor 1.5.2 credenciais 1.3.2
encaracolar 5.0.1 tabela de dados 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 DBPlyr 2.3.3 descrição 1.4.2
DevTools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
resumo 0.6.33 Iluminação reduzida 0.4.3 DPLYR 1.1.2
DTPlyr 1.3.1 e1071 1.7-13 reticências 0.3.2
avaliar 0.21 Fansi 1.0.4 cores 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 forçados 1.0.0
foreach 1.5.2 estrangeiro/a 0.8-82 forjar 0.2.0
FS 1.6.2 Futuro 1.33.0 futuro.apply 1.11.0
gargarejo 1.5.1 genérico 0.1.3 Gert 1.9.2
ggplot2 3.4.2 GH 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Variáveis globais 0.16.2 cola 1.6.2
GoogleDrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
gráficos 4.3.1 grDispositivos 4.3.1 grelha 4.3.1
gridExtra 2.3 gsubfn 0.7 tabela g 0.3.3
capacete de proteção 1.3.0 Refúgio 2.5.3 mais alto 0.10
HMS (Navio de Sua Majestade) 1.1.3 htmltools 0.5.5 htmlwidgets (componentes HTML interativos) 1.6.2
httpuv 1.6.11 HTTR 1.4.6 httr2 0.2.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-14
Banda isobárica 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 Knitr 1.43
etiquetagem 0.4.2 mais tarde 1.3.1 treliça 0.21-8
lave 1.7.2.1 ciclo de vida 1.0.3 ouvir 0.9.0
lubridato 1.9.2 Magrittr 2.0.3 Marcação 1.7
MASSA 7.3-60 Matriz 1.5-4.1 memorização 2.0.1
Metodologia 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
Munsell 0.5.0 nlme 3.1-162 NNET 7.3-19
numDeriv 2016.8 a 1.1 openssl (conjunto de ferramentas para criptografia) 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 Plyr 1.8.8 elogios 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
Prodlim 2023.03.31 profvis 0.3.8 Progressos 1.2.2
progressr 0.13.0 promessas 1.2.0.1 prototipo 1.0.0
proxy 0.4-27 P.S. 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 receitas 1.0.6
nova partida 1.0.1 revanche2 2.1.2 Dispositivos remotos 2.4.2
Exemplo Reproduzível (Reprex) 2.0.2 remodelar2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart (função de partição recursiva em R) 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
Rvest 1.0.3 Sass 0.4.6 escalas 1.2.1
seletor 0.4-2 Informação da sessão 1.2.2 forma 1.4.6
brilhante 1.7.4.1 ferramentas de código-fonte 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 espacial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 estatísticas 4.3.1
estatísticas4 4.3.1 string 1.7.12 stringr 1.5.0
Sobrevivência 3.5-5 Sistema 3.4.2 fontes do sistema 1.0.4
tcltk (uma linguagem de programação) 4.3.1 testthat 3.1.10 formatação de texto 0.3.6
Tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
Tidyverse 2.0.0 mudança de hora 0.2.0 data e hora 4022.108
Tinytex 0.45 Ferramentas 4.3.1 tzdb 0.4.0
verificador de URL 1.0.1 usethis 2.2.2 UTF8 1.2.3
utilitários 4.3.1 Identificador Único Universal (UUID) 1.1-0 VCTRS 0.6.3
viridisLite 0.4.2 vruum 1.6.3 Waldo 0.5.1
vibrissas 0.4.1 murchar 2.5.0 xfun 0,39
XML2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip (formato de arquivo) 2.3.0

Instalei as bibliotecas Java e Scala (versão do cluster Scala 2.12)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.390
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws AWS Java SDK para CloudSearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect (kit de desenvolvimento de software Java para DirectConnect) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws AWS Java SDK para SES 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.390
com.amazonaws AWS-Java-SDK-STS 1.12.390
com.amazonaws aws-java-sdk-suporte 1.12.390
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombra kriogénica 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core Jackson-Annotations 2.15.2
com.fasterxml.jackson.core Jackson-Core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (formato de dados em CBOR) 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil Jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone anotações_propensas_a_erros 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger gerador de perfis 1.1.1
com.jcraft jsch 0.1.55
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver MSSQL-JDBC 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Configurações 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib LAPACK 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.24
IO.Delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics métricas e anotação 4.2.19
io.dropwizard.metrics métricas principais 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics métricas e verificações de saúde 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics Métricas JMX 4.2.19
io.dropwizard.metrics métricas em formato JSON 4.2.19
io.dropwizard.metrics métricas do JVM 4.2.19
io.dropwizard.metrics Métricas-Servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty Netty Comum 4.1.93.Final
io.netty Netty Handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver (resolução do Netty) 4.1.93.Final
io.netty Netty-Transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.93.Final
io.prometeu simpleclient 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação jakarta.annotation.api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
Jakarta.validação jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine picles 1.3
net.sf.jpam JPAM 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.29
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.9.3
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ANT-JSCH 1.9.16
org.apache.ant lançador de formigas 1.9.16
org.apache.arrow formato de flecha 12.0.1
org.apache.arrow núcleo de memória Arrow 12.0.1
org.apache.arrow Arrow-Memory-Netty 12.0.1
org.apache.arrow vetor gráfico de seta 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro AVRO-IPC 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curador curador-cliente 2.13.0
org.apache.curador Framework de Curadoria 2.13.0
org.apache.curador curador de receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.6
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Hive-CLI 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive API de armazenamento Hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-protobuf sombreado
org.apache.orc orc-core 1.9.0-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.0-protobuf sombreado
org.apache.orc Orc-cunhas 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações do público 0.13.0
org.apache.zookeeper cuidador de zoológico 3.6.3
org.apache.zookeeper guarda de zoológico-juta 3.6.3
org.checkerframework verificador de qualidade 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Cliente 9.4.51.v20230217
org.eclipse.jetty jetty-continuation (componente de software do Jetty) 9.4.51.v20230217
org.eclipse.jetty Jetty-HTTP 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty Jetty Plus 9.4.51.v20230217
org.eclipse.jetty Jetty-Proxy 9.4.51.v20230217
org.eclipse.jetty Segurança do Jetty 9.4.51.v20230217
org.eclipse.jetty servidor jetty 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty Jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty Aplicação web Jetty 9.4.51.v20230217
org.eclipse.jetty Jetty-XML 9.4.51.v20230217
org.eclipse.jetty.websocket API WebSocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-cliente 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-Comum 9.4.51.v20230217
org.eclipse.jetty.websocket servidor websocket 9.4.51.v20230217
org.eclipse.jetty.websocket Websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 HK2-Localizador 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core Jersey comum 2.40
org.glassfish.jersey.core servidor Jersey 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow MLFLOW-Spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap anilhas 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-compatível-com-slf4j 2.0.7
org.slf4j jul-para-slf4j 2.0.7
org.slf4j SLF4J-API 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-plataforma_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial SQLITE-JDBC 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml Snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion íon-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on