Partilhar via

Tempo de execução do Databricks 15.1 (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.1, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em abril de 2024.

Gorjeta

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Alterações interruptivas

O suporte para Databricks Runtime 15.0 e Databricks Runtime 15.0 para Machine Learning termina em 31 de maio de 2024 porque uma atualização da biblioteca pandas de 1.5.3 para 2.0.3 em 15.0 causou uma alteração de quebra em várias APIs do Apache Spark. Para obter detalhes sobre as alterações de quebra, consulte A biblioteca Python pandas é rebaixada para 1.5.3. Para resolver essa incompatibilidade, o Databricks lançou o Databricks Runtime 15.1 e o Databricks Runtime 15.1 para Machine Learning. A funcionalidade suportada por essas versões é a mesma das versões 15.0, mas com a versão pandas rebaixada para 1.5.3.

Quaisquer clusters ou trabalhos existentes que usem versões do Databricks Runtime 15.0 continuarão a funcionar, mas não receberão atualizações de produto ou de segurança. Não é mais possível configurar uma nova computação que usa o Databricks Runtime 15.0 ou o Databricks Runtime 15.0 ML na interface do usuário do Databricks. Se você não estiver usando recursos ou APIs que exijam pandas 2.0+, o Databricks recomenda alternar essas cargas de trabalho para o Databricks Runtime 15.1.

Se você estiver usando recursos ou APIs disponíveis apenas no pandas 2.0+ e não estiver usando nenhuma função afetada por esta versão, o Databricks recomenda alternar para o Databricks Runtime 15.1 e atualizar o pacote pandas padrão usando bibliotecas com escopo de cluster ou notebook. Por exemplo, para atualizar a biblioteca pandas em um bloco de anotações Databricks, use o seguinte comando:

%pip install pandas==2.0.3

A biblioteca Python pandas é rebaixada para 1.5.3

Nesta versão, a biblioteca de pandas é rebaixada da versão 2.0.3 para 1.5.3. Esse downgrade foi necessário porque incompatibilidades na versão 2.0.3 dos pandas causaram erros em algumas APIs de pandas em funções do Spark. A seguir lista as funções afetadas pela versão 2.0.3 do pandas:

  • pyspark.date_range: O closed parâmetro está faltando, causando erros quando esta função é chamada pelo código existente.
  • A funcionalidade de GroupBy com MultiIndex colunas é alterada, causando um comportamento inesperado.
  • Alguns datetime atributos de (por exemploday, , month, yeare assim por diante) retornam int32 tipos de DatetimeIndex dados em vez de tipos de int64 dados.

A função PySpark spark.sql() agora falha para tipos de argumento inválidos

No Databricks Runtime 15.1 e posterior, o args parâmetro para parâmetros nomeados ou posicionais passados para a spark.sql() função deve ser um dicionário ou lista. Se qualquer outro tipo de objeto for passado, o seguinte erro será gerado: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

O armazenamento de bibliotecas na raiz DBFS foi preterido e desativado por padrão

Para melhorar a segurança das bibliotecas em um espaço de trabalho do Azure Databricks, o armazenamento de arquivos de biblioteca na raiz DBFS é preterido e desabilitado por padrão, começando com o Databricks Runtime 15.1. O Databricks recomenda carregar todas as bibliotecas, o que inclui bibliotecas Python, arquivos JAR e conectores Spark, para arquivos de espaço de trabalho, volumes do Catálogo Unity ou usando um repositório de pacotes. Consulte Recomendações para carregar bibliotecas.

Para reativar o armazenamento de bibliotecas na raiz DBFS, defina o seguinte parâmetro de configuração do Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

A versão padrão do Python é atualizada de 3.10 para 3.11

Com o Databricks Runtime 15.1, a versão padrão do Python é 3.11.0. Para obter a lista de bibliotecas Python atualizadas, consulte Atualizações de biblioteca.

JDK 11 é removido

Conforme anunciado anteriormente, o JDK 11 foi removido do Databricks Runtime 15.1 e posterior. O Databricks recomenda a atualização para o JDK 17 ao atualizar para o Databricks Runtime 15.1 e posterior. Consulte Databricks SDK para Java.

O Python REPL agora termina graciosamente

Com o Databricks Runtime 15.1, o processo Python REPL do notebook agora termina graciosamente na saída. Isso faz com que qualquer gancho de saída seja honrado. Por exemplo, em um fluxo de trabalho com várias tarefas do bloco de anotações Python, os ganchos de saída registrados na primeira tarefa são executados antes que a segunda tarefa do bloco de anotações Python seja executada.

Novos recursos e melhorias

A cláusula * (estrela) é agora suportada na cláusula WHERE

Agora você pode usar a cláusula de estrela (*) na WHERE cláusula para fazer referência a todas as colunas da SELECT lista. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A spark.sql.json.enablePartialResults configuração agora está habilitada por padrão

A configuração spark.sql.json.enablePartialResults do Spark agora está habilitada por padrão, permitindo que o analisador JSON manipule corretamente erros de análise para tipos complexos, como struct, map e array, sem descartar os campos restantes. Essa alteração corrige um problema de consistência para fontes de dados JSON com remoção de coluna.

As bibliotecas de cluster agora suportam arquivos requirements.txt

Agora você pode instalar bibliotecas de cluster usando um requirements.txt arquivo armazenado em um arquivo de espaço de trabalho ou volume do Catálogo Unity. Em clusters de usuário único e modo de acesso compartilhado , o arquivo pode fazer referência a requirements.txt outros arquivos. Em nenhum cluster de modo de acesso compartilhado de isolamento, apenas pacotes PyPI são suportados. Veja Bibliotecas de cluster.

Databricks CLI agora disponível no terminal web

Agora você pode usar a CLI do Databricks a partir do terminal da Web no notebook. O bloco de anotações deve ser conectado a um cluster no modo de acesso compartilhado de usuário único ou sem isolamento. Para obter detalhes, consulte Usar terminal da Web e CLI do Databricks.

Adicionar repositórios Python padrão a configurações de cluster

No Databricks Runtime 15.1 e posterior, você pode configurar parâmetros globais pip index-url para extra-index-url instalação de bibliotecas com escopo de cluster e bloco de anotações ao configurar um cluster ou definir uma política de cluster. Para fazer isso, defina as variáveis DATABRICKS_PIP_INDEX_URL de ambiente e DATABRICKS_PIP_EXTRA_INDEX_URL.

Os controles de passagem de credenciais e de acesso à tabela de metastore do Hive foram preteridos

A passagem de credenciais e os controles de acesso à tabela de metastore do Hive são modelos herdados de governança de dados. Atualize para o Unity Catalog para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em sua conta. Veja O que é o Unity Catalog?.

O suporte para passagem de credenciais e controles de acesso à tabela de metastore do Hive será removido em uma próxima versão do DBR.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • preto de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certifi de 2022.12.7 a 2023.7.22
    • Criptografia de 39.0.1 a 41.0.3
    • Databricks-SDK de 0.1.6 a 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadados de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • Protobuf de 4.24.0 a 4.24.1
    • Pyarrow de 8.0.0 a 14.0.1
    • Pigmentos de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 a 4.0.38
    • Pedidos de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 a 0.10.0
    • scikit-learn de 1.1.1 a 1.3.0
    • scipy de 1.10.0 a 1.11.1
    • setuptools de 65.6.3 a 68.0.0
    • statsmodels de 0.13.5 a 0.14.0
    • tenacidade de 8.1.0 a 8.2.2
    • Tornado de 6.1 a 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • widgetsnbextension de 3.6.1 a 4.0.5
    • zipp de 1.0.0 a 3.11.0
  • Bibliotecas R atualizadas:
    • seta de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • Base de 4.3.1 a 4.3.2
    • Fermentar de 1.0-8 a 1.0-10
    • brio de 1.1.3 a 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • CLI de 3.6.1 a 3.6.2
    • marca comum de 1.9.0 a 1.9.1
    • compilador de 4.3.1 a 4.3.2
    • Configuração de 0.3.1 a 0.3.2
    • CPP11 de 0.4.4 a 0.4.7
    • credenciais de 1.3.2 a 2.0.1
    • curvatura de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • conjuntos de dados de 4.3.1 a 4.3.2
    • DBI de 1.1.3 a 1.2.1
    • DBPlyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • resumo de 0.6.33 a 0.6.34
    • dplyr de 1.1.2 a 1.1.4
    • e1071 de 1.7-13 a 1.7-14
    • avaliar de 0,21 a 0,23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • futuro de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargarejo de 1.5.1 a 1.5.2
    • Gert de 1.9.2 a 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • cola de 1.6.2 a 1.7.0
    • gráficos de 4.3.1 a 4.3.2
    • grDevices de 4.3.1 a 4.3.2
    • grelha de 4.3.1 a 4.3.2
    • gtable de 0.3.3 a 0.3.4
    • Hardhat de 1.3.0 a 1.3.1
    • Refúgio de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • HTTR de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1,43 a 1,45
    • rotulagem de 0.4.2 a 0.4.3
    • mais tarde, de 1.3.1 para 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • ciclo de vida de 1.0.3 a 1.0.4
    • ouvir de 0.9.0 a 0.9.1
    • lubridato de 1.9.2 a 1.9.3
    • markdown de 1,7 para 1,12
    • Métodos de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • paralelo de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 a 1.8.9
    • unidades bonitas de 1.1.1 a 1.2.0
    • pROC de 1.18.4 a 1.18.5
    • processx de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progressos de 1.2.2 para 1.2.3
    • progressor de 0.13.0 a 0.14.0
    • promessas de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • ronronar de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RcppEigen de 0.3.3.9.3 a 0.3.3.9.4
    • Readr de 2.1.4 a 2.1.5
    • receitas de 1.0.6 a 1.0.9
    • revanche de 1.0.1 a 2.0.0
    • Controles remotos de 2.4.2 a 2.4.2.1
    • reprex de 2.0.2 a 2.1.0
    • Rlang de 1.1.1 a 1.1.3
    • Rmarkdown de 2,23 para 2,25
    • RODBC de 1.3-20 a 1.3-23
    • roxigen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Reserve de 1.8-11 a 1.8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • escalas de 1.2.1 a 1.3.0
    • brilhante de 1.7.4.1 a 1.8.0
    • Sparklyr de 1.8.1 a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • Estatísticas de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • de 3.1.10 a 3.2.1
    • formatação de texto de 0.3.6 a 0.3.7
    • Tidyr de 1.3.0 a 1.3.1
    • mudança de tempo de 0.2.0 para 0.3.0
    • horaData: de 4022.108 a 4032.109
    • tinytex de 0,45 a 0,49
    • Ferramentas de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utils de 4.3.1 a 4.3.2
    • UUID de 1.1-0 a 1.2-0
    • VCTRS de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • Waldo de 0.5.1 a 0.5.2
    • Withr de 2.5.0 a 3.0.0
    • xfun de 0,39 a 0,41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Faísca Apache

O Databricks Runtime 15.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-45527] [DBRRM-805][ES-1073714] Reverter "[SC-151626][CORE] Usar fração para fazer o cálculo do recurso"
  • [FAÍSCA-47102] [DBRRM-803][SC-158253][SQL] Adicionar o COLLATION_ENABLED sinalizador de configuração
  • [FAÍSCA-46973] [SC-158140][DBRRM-777][SQL] Ignorar pesquisa de tabela V2 quando uma tabela está no cache de tabela V1
  • [FAÍSCA-46808] [SC-154113][PYTHON] Refine classes de erro em Python com a função de classificação automática
  • [FAÍSCA-47251] [SC-158291][PYTHON] Bloquear tipos inválidos do args argumento para sql comando
  • [FAÍSCA-47251] [SC-158121][PYTHON] Bloquear tipos inválidos do args argumento para sql comando
  • [FAÍSCA-47108] [SC-157204][CORE] Definir derby.connection.requireAuthentication explicitamente em false CLIs
  • [FAÍSCA-45599] [SC-157537][CORE] Usar igualdade de objeto em OpenHashSet
  • [FAÍSCA-47099] [SC-157352][SQL] Use ordinalNumber para definir uniformemente o valor de para a classe de paramIndex erro UNEXPECTED_INPUT_TYPE
  • [FAÍSCA-46558] [SC-151363][CONECTAR] Extraia uma função auxiliar para eliminar o código duplicado que recupera MessageParameters de ErrorParams dentro GrpcExceptionConverter
  • [FAÍSCA-43117] [SC-156177][CONECTAR] Tornar ProtoUtils.abbreviate o suporte repetido campos
  • [FAÍSCA-46342] [SC-150283][SQL] Substituir IllegalStateException por SparkException.internalError em sql
  • [FAÍSCA-47123] [SC-157412][CORE] JDBCRDD não manipula corretamente erros em getQueryOutputSchema
  • [FAÍSCA-47189] [SC-157667][SQL] Ajustar nomes de erro de coluna e texto
  • [FAÍSCA-45789] [SC-157101][SQL] Suporte DESCRIBE TABLE para colunas de agrupamento
  • [FAÍSCA-43256] [SC-157699][SQL] Remover classe de erro _LEGACY_ERROR_TEMP_2021
  • [FAÍSCA-47201] [SC-157782][PYTHON][CONECTAR] sameSemantics verifica os tipos de entrada
  • [FAÍSCA-47183] [SC-157660][PYTHON] Corrija a classe de erro para sameSemantics
  • [FAÍSCA-47179] [SC-157663][SQL] Melhore a mensagem de erro do SparkThrowableSuite para melhor capacidade de depuração
  • [FAÍSCA-46965] [SC-155791][CORE] Entrada logTypeUtils.getLog
  • [FAÍSCA-46832] [SC-156774][SQL] Introdução às expressões Collate e Collation
  • [FAÍSCA-46946] [SC-155721][SQL] Suporte à transmissão de várias chaves de filtragem no DynamicPruning
  • [FAÍSCA-47079] [VARIANTE-22][SC-157598][PYTHON][SQL][CONECTAR] Adicionar informações de tipo de variante ao PySpark
  • [FAÍSCA-47101] [SC-157360][SQL] Permitir que a vírgula seja usada em nomes de colunas de nível superior e remover a definição de tipo aninhado de verificação em HiveExternalCatalog.verifyDataSchema
  • [FAÍSCA-47173] [SC-157571][SS][UI] Corrigir um erro de digitação na explicação da interface do usuário de streaming
  • [FAÍSCA-47113] [SC-157348][CORE] Reverter a lógica de correção de ponto final S3A do SPARK-35878
  • [FAÍSCA-47130] [SC-157462][CORE] Use listStatus para ignorar as informações de localização do bloco ao limpar os registros do driver
  • [FAÍSCA-43259] [SC-157368][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2024
  • [FAÍSCA-47104] [SC-157355][SQL] TakeOrderedAndProjectExec deve inicializar a projeção insegura
  • [FAÍSCA-47137] [SC-157463][PYTHON][CONECTAR] Adicione getAll ao spark.conf para paridade de recursos com o Scala
  • [FAÍSCA-46924] [SC-154905][CORE] Botão Corrigir Load New na Master/HistoryServer interface do usuário de log
  • [FAÍSCA-47069] [SC-157370][PYTHON][CONECTAR] Introdução spark.profile.show/dump para criação de perfil baseada em SparkSession
  • [FAÍSCA-46812] [SC-157075][SQL][PYTHON] Fazer mapInPandas / mapInArrow suporte ResourceProfile
  • [FAÍSCA-46833] [SC-155866][SQL] Collations - Apresentando o CollationFactory que fornece regras de comparação e hashing para agrupamentos suportados
  • [FAÍSCA-47057] [SC-157036][PYTHON] Teste de dados Reeanble MyPy
  • [FAÍSCA-46934] [SC-157084][SQL] Leitura/gravação ida e volta para o tipo struct com caracteres especiais com HMS
  • [FAÍSCA-46727] [SC-153472][SQL] Porta classifyException() em dialetos JDBC em classes de erro
  • [FAÍSCA-46964] [SC-155740][SQL] Altere a assinatura do erro de execução de consulta hllInvalidLgK para tomar um inteiro como 4º argumento
  • [FAÍSCA-46949] [SC-155719][SQL] Suporte CHAR/VARCHAR através de ResolveDefaultColumns
  • [FAÍSCA-46972] [SC-155888][SQL] Corrigir substituição assimétrica para char/varchar em V2SessionCatalog.createTable
  • [FAÍSCA-47014] [SC-156778][PYTHON][CONECTAR] Implementar métodos dumpPerfProfiles e dumpMemoryProfiles de SparkSession
  • [FAÍSCA-46689] [SC-156221][FAÍSCA-46690][PYTHON][CONECTAR] Suporte v2 perfil em grupo/cogrupo applyInPandas/applyInArrow
  • [FAÍSCA-47040] [SC-156773][CONECTAR] Permitir que o script do Spark Connect Server aguarde
  • [FAÍSCA-46688] [SC-156113][FAÍSCA-46691][PYTHON][CONECTAR] Suporta criação de perfil v2 em UDFs Pandas agregados
  • [FAÍSCA-47004] [SC-156499][CONECTAR] Adicionado mais testes ao ClientStreamingQuerySuite para aumentar a cobertura de teste do cliente Scala
  • [FAÍSCA-46994] [SC-156169][PYTHON] Refatore PythonWrite para se preparar para suportar a gravação de streaming de fonte de dados python
  • [FAÍSCA-46979] [SC-156587][SS] Adicione suporte para especificar o codificador de chave e valor separadamente e também para cada família col no provedor de armazenamento de estado RocksDB
  • [FAÍSCA-46960] [SC-155940][SS] Testando vários fluxos de entrada com o operador TransformWithState
  • [FAÍSCA-46966] [SC-156112][Python] Adicione a API UDTF para o método 'analyze' para indicar o subconjunto de colunas da tabela de entrada a serem selecionadas
  • [FAÍSCA-46895] [SC-155950][CORE] Substitua o temporizador pelo executor agendado de thread único
  • [FAÍSCA-46967] [SC-155815][CORE][UI] Thread Dump Ocultar e Heap Histogram de Dead executores na Executors interface do usuário
  • [FAÍSCA-46512] [SC-155826][CORE] Otimize a leitura aleatória quando a classificação e a combinação forem usadas.
  • [FAÍSCA-46958] [SC-155942][SQL] Adicionar fuso horário ausente para coagir valores padrão
  • [FAÍSCA-46754] [SC-153830][SQL][AVRO] Corrigir a resolução do código de compressão nas opções de definição e gravação de tabela avro
  • [FAÍSCA-46728] [SC-154207][PYTHON] Verifique a instalação do Pandas corretamente
  • [FAÍSCA-43403] [SC-154216][UI] Verifique se o SparkUI antigo no HistoryServer foi desanexado antes de carregar um novo
  • [FAÍSCA-39910] [SC-156203][SQL] Delegar a qualificação do caminho ao sistema de arquivos durante o globbing do caminho do arquivo DataSource
  • [FAÍSCA-47000] [SC-156123] Reverter "[SC-156123][CORE] Use getTotalMemorySize...
  • [FAÍSCA-46819] [SC-154560][CORE] Mover categorias e estados de erro para JSON
  • [FAÍSCA-46997] [SC-156175][CORE] Ativar spark.worker.cleanup.enabled por padrão
  • [FAÍSCA-46865] [SC-156168][SS] Adicionar suporte em lote para o operador TransformWithState
  • [FAÍSCA-46987] [SC-156040][CONECTAR] ProtoUtils.abbreviate evitar operações desnecessárias setField
  • [FAÍSCA-46970] [SC-155816][CORE] Reescreva OpenHashSet#hasher com pattern matching
  • [FAÍSCA-46984] [SC-156024][PYTHON] Remover pyspark.copy_func
  • [FAÍSCA-47000] [SC-156123][CORE] Utilização getTotalMemorySize em seringas WorkerArguments
  • [FAÍSCA-46980] [SC-155914][SQL][MENOR] Evite usar APIs internas em testes de ponta a ponta de dataframe
  • [FAÍSCA-46931] Reverter "[SC-155661][PS] Implementar {Frame, Series}.to_hdf"
  • [FAÍSCA-46618] [SC-153828][SQL] Melhorar as mensagens de erro em caso de erro DATA_SOURCE_NOT_FOUND
  • [FAÍSCA-46849] [SC-154586][SQL] Execute o otimizador nos padrões da coluna CREATE TABLE
  • [FAÍSCA-46911] [SC-155724][SS] Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
  • [FAÍSCA-43273] [SQL] Suporte lz4raw a codec de compressão para Parquet
  • [FAÍSCA-47002] [SC-156223][Python] Retornar melhor mensagem de erro se UDTF 'analyze' método 'orderBy' campo acidentalmente retorna uma lista de strings
  • [FAÍSCA-46890] [SC-155802][SQL] Corrigir bug de análise CSV com valores padrão de existência e remoção de coluna
  • [FAÍSCA-46977] [SC-155892][CORE] Uma solicitação com falha para obter um token de um NameNode não deve ignorar solicitações de token subsequentes
  • [FAÍSCA-46608] [SC-151806][SQL] Restaurar a compatibilidade com versões anteriores de JdbcDialect.classifyException
  • [FAÍSCA-46908] [SC-155702][SQL] Cláusula estrela de suporte na cláusula WHERE
  • [FAÍSCA-46908] [SC-155702][SQL] Cláusula estrela de suporte na cláusula WHERE
  • [FAÍSCA-46852] [SC-155665][SS] Remova o uso do codificador de chave explícito e passe-o implicitamente para o operador do operador transformWithState
  • [FAÍSCA-46864] [SC-155669][SS] Integre o Arbitrary StateV2 na nova estrutura de classe de erro
  • [FAÍSCA-45807] [SC-155706][SQL] Retornar Modo de Exibição depois de chamar replaceView(..)
  • [FAÍSCA-46899] [SC-154651][CORE] Remover POST APIs de MasterWebUI quando spark.ui.killEnabled é false
  • [FAÍSCA-46868] [SC-154539][CORE] Suporte Spark Worker Log UI
  • [FAÍSCA-46931] [SC-155661][PS] Implementar {Frame, Series}.to_hdf
  • [FAÍSCA-46940] [SC-155667][CORE] Remover não utilizado updateSparkConfigFromProperties e isAbsoluteURI em o.a.s.u.Utils
  • [FAÍSCA-46929] [SC-155659][CORE][CONECTAR][SS] Use ThreadUtils.shutdown para fechar pools de threads
  • [FAÍSCA-46400] [SC-155658][CORE][SQL] Quando houver arquivos corrompidos no repositório maven local, ignore esse cache e tente novamente
  • [FAÍSCA-46932] [SC-155655] Limpar as importações em pyspark.pandas.test_*
  • [FAÍSCA-46683] [SC-154120] Escreva um gerador de subconsultas que gere permutações de subconsultas para aumentar a cobertura de testes
  • [FAÍSCA-46914] [SC-154776][UI] Encurtar o nome do aplicativo na tabela de resumo na Página de Histórico
  • [FAÍSCA-46831] [SC-154699][SQL] Agrupamentos - Estendendo StringType e PhysicalStringType com campo collationId
  • [FAÍSCA-46816] [SC-154415][SS] Adicione suporte base para novo operador de gerenciamento de estado arbitrário, tipo valueState único, várias variáveis de estado e suporte subjacente para famílias de colunas para RocksDBStateStoreProvider com/sem ponto de verificação de changelog
  • [FAÍSCA-46925] [SC-154890][PYTHON][CONECTAR] Adicionar um aviso que instrua a instalação do memory_profiler para criação de perfil de memória
  • [FAÍSCA-46927] [SC-154904][PYTHON] Faça assertDataFrameEqual funcionar corretamente sem PyArrow
  • [FAÍSCA-46021] [SC-148987][CORE] Suporte para cancelar futuros trabalhos pertencentes a um grupo de trabalho
  • [FAÍSCA-46747] [SC-154789][SQL] Evite a verificação em getTableExistsQuery para dialetos JDBC
  • [FAÍSCA-46904] [SC-154704][UI] Corrigir problema de exibição do resumo da interface do usuário do histórico
  • [FAÍSCA-46870] [SC-154541][CORE] Suporte Spark Master Log UI
  • [FAÍSCA-46893] [SC-154780][UI] Remover scripts embutidos das descrições da interface do usuário
  • [FAÍSCA-46910] [SC-154760][PYTHON] Elimine o requisito do JDK na instalação do PySpark
  • [FAÍSCA-46907] [SC-154736][CORE] Mostrar local do log do driver no Spark History Server
  • [FAÍSCA-46902] [SC-154661][UI] Corrigir a interface do usuário do Spark History Server por usar setAppLimit não exportado
  • [FAÍSCA-46687] [SC-154725][PYTHON][CONECTAR] Suporte básico do criador de perfil de memória baseado em SparkSession
  • [FAÍSCA-46623] [SC-153831][CORE][MLLIB][SQL] Substitua SimpleDateFormat por DateTimeFormatter
  • [FAÍSCA-46875] [SC-154627][SQL] Quando o mode é nulo, um NullPointException deve not ser lançado
  • [FAÍSCA-46872] [SC-154543][CORE] Recuperar log-view.js para não ser módulo
  • [FAÍSCA-46883] [SC-154629][CORE] API de suporte /json/clusterutilization
  • [FAÍSCA-46886] [SC-154630][CORE] Ativar spark.ui.prometheus.enabled por padrão
  • [FAÍSCA-46873] [SC-154638][SS] Não recrie o novo StreamingQueryManager para a mesma sessão do Spark
  • [FAÍSCA-46829] [SC-154419][CORE] Remover createExecutorEnv do SparkEnv
  • [FAÍSCA-46827] [SC-154280][CORE] Fazer RocksDBPersistenceEngine para suportar um link simbólico
  • [FAÍSCA-46903] [SC-154662][CORE] Suporte Spark History Server Log UI
  • [FAÍSCA-46874] [SC-154646][PYTHON] Remover pyspark.pandas dependência de assertDataFrameEqual
  • [FAÍSCA-46889] [SC-154639][CORE] Validar spark.master.ui.decommission.allow.mode configuração
  • [FAÍSCA-46850] [SC-154443][SQL] Converter _LEGACY_ERROR_TEMP_2102 em UNSUPPORTED_DATATYPE
  • [FAÍSCA-46704] [SC-153323][CORE][UI] Correção MasterPage para classificar Running Drivers tabela por Duration coluna corretamente
  • [FAÍSCA-46796] [SC-154279][SS] Verifique se os arquivos remotos corretos (mencionados no metadata.zip) são usados no carregamento da versão do RocksDB
  • [FAÍSCA-46888] [SC-154636][CORE] Corrigir Master para rejeitar /workers/kill/ solicitações se a desativação estiver desativada
  • [FAÍSCA-46818] [SC-154422][SQL] Melhore as mensagens de erro para o Range com entradas não dobráveis
  • [FAÍSCA-46898] [SC-154649][CONECTAR] Simplifique a transformação da função protobuf no Planner
  • [FAÍSCA-46828] [SC-154413][SQL] Remova a asserção inválida do modo remoto para o shell spark sql
  • [FAÍSCA-46733] [SC-154274][CORE] Simplifique o BlockManager pela operação de saída depende apenas do thread de interrupção.
  • [FAÍSCA-46777] [SC-154016][SS] Refatorar StreamingDataSourceV2Relation a estrutura do catalisador para estar mais em pé de igualdade com a versão em lote
  • [FAÍSCA-46515] [SC-151716] Adicionar função MONTHNAME
  • [FAÍSCA-46823] [SC-154276][CONECTAR][PYTHON] LocalDataToArrowConversion deve verificar a anulabilidade
  • [FAÍSCA-46787] [SC-154404][CONECTAR] bloomFilter função deve lançar AnalysisException para entrada inválida
  • [FAÍSCA-46779] [SC-154045][SQL] InMemoryRelation instâncias do mesmo plano armazenado em cache devem ser semanticamente equivalentes
  • [FAÍSCA-45827] [SC-153973] Não permitir particionamento na coluna Variante
  • [FAÍSCA-46797] [SC-154085][CORE] Renomear spark.deploy.spreadOut para spark.deploy.spreadOutApps
  • [FAÍSCA-46094] [SC-153421] Criação de perfil JVM do executor de suporte
  • [FAÍSCA-46746] [SC-153557][SQL][AVRO] Anexar extensão de codec a arquivos de fonte de dados avro
  • [FAÍSCA-46698] [SC-153288][CORE] Substitua o temporizador pelo executor agendado de thread único para ConsoleProgressBar.
  • [FAÍSCA-46629] [SC-153835] Correção para DDL tipo STRUCT não pegando anulabilidade e comentário
  • [FAÍSCA-46750] [SC-153772][CONECTAR][PYTHON] Limpeza de código de APIs DataFrame
  • [FAÍSCA-46769] [SC-153979][SQL] Refinar a inferência de esquema relacionada ao carimbo de data/hora
  • [FAÍSCA-46765] [SC-153904][PYTHON][CONECTAR] Especificar shuffle o tipo de dados de seed
  • [FAÍSCA-46579] [SC-151481][SQL] Redact JDBC url em erros e logs
  • [FAÍSCA-46686] [SC-153875][PYTHON][CONECTAR] Suporte básico do criador de perfil Python UDF baseado em SparkSession
  • [FAÍSCA-46748] Reverter "[SC-153800][CORE] Remover *slav**.sh scri...
  • [FAÍSCA-46707] [SC-153833][SQL] Adicionado campo jogável às expressões para melhorar a pressão de predicados
  • [FAÍSCA-46519] [SC-151278][SQL] Limpar classes de erro não utilizadas do error-classes.json arquivo
  • [FAÍSCA-46677] [SC-153426][SQL][CONECTAR] Corrigir dataframe["*"] resolução
  • [FAÍSCA-46317] [SC-150184][PYTHON][CONECTAR] Combine a correspondência de comportamento menor no SparkSession com cobertura total do teste
  • [FAÍSCA-46748] [SC-153800][CORE] Remover *slav**.sh scripts
  • [FAÍSCA-46663] [SC-153490][PYTHON] Desativar o criador de perfil de memória para pandas UDFs com iteradores
  • [FAÍSCA-46410] [SC-150776][SQL] Atribuir classes/subclasses de erro a JdbcUtils.classifyException
  • [FAÍSCA-46277] [SC-150126][PYTHON] Valide urls de inicialização com a configuração sendo definida
  • [FAÍSCA-46612] [SC-153536][SQL] Não converta string de tipo de matriz recuperada do driver jdbc
  • [FAÍSCA-46254] [SC-149788][PYTHON] Remova a verificação de versão obsoleta do Python 3.8/3.7
  • [FAÍSCA-46490] [SC-151335][SQL] Exigir classes de erro em SparkThrowable subclasses
  • [FAÍSCA-46383] [SC-153274][SC-147443][WARMFIX] Reduza o uso de heap de driver reduzindo a vida útil de TaskInfo.accumulables()
  • [FAÍSCA-46541] [SC-153109][SQL][CONECTAR] Corrigir a referência de coluna ambígua na auto-junção
  • [FAÍSCA-46381] [SC-150495][SQL] Migrar subclasses de para classes de AnalysisException erro
  • [FAÍSCA-46351] [SC-150335][SQL] Exigir uma classe de erro em AnalysisException
  • [FAÍSCA-46220] [SC-149689][SQL] Restringir conjuntos de caracteres em decode()
  • [FAÍSCA-46369] [SC-150340][CORE] Remover kill link de RELAUNCHING drivers em MasterPage
  • [FAÍSCA-46052] [SC-153284][CORE] Remover função TaskScheduler.killAllTaskAttempts
  • [FAÍSCA-46536] [SC-153164][SQL] GRUPO DE APOIO POR calendar_interval_type
  • [FAÍSCA-46675] [SC-153209][SQL] Remover inferTimestampNTZ não utilizado no ParquetReadSupport
  • [FAÍSCA-46717] [SC-153423][CORE] Simplificar ReloadingX509TrustManager pela operação de saída depende apenas do thread de interrupção.
  • [FAÍSCA-46722] [SC-153438][CONECTAR] Adicione um teste referente à verificação de compatibilidade com versões anteriores para StreamingQueryListener no Spark Connect (Scala/PySpark)
  • [FAÍSCA-46187] [SC-149580][SQL] Alinhar a implementação codegen e não-codegen de StringDecode
  • [FAÍSCA-46258] [SC-149799][CORE] Adicionar RocksDBPersistenceEngine
  • [FAÍSCA-46216] [SC-149676][CORE] Melhorar FileSystemPersistenceEngine para suportar compressões
  • [FAÍSCA-46189] [SC-149567][PS][SQL] Execute comparações e aritméticas entre os mesmos tipos em várias funções agregadas Pandas para evitar erros de modo interpretado
  • [FAÍSCA-46184] [SC-149563][CORE][SQL][CONECTAR][MLLIB] Reduza a profundidade da pilha substituindo Option.isDefined por Option.isEmpty
  • [FAÍSCA-46700] [SC-153329][CORE] Contar o último derramamento para a métrica de bytes de derramamento de disco aleatório
  • [FAÍSCA-45642] [SC-150286][CORE][SQL] Corrigir FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [FAÍSCA-46640] [SC-153272][SQL] Corrija RemoveRedundantAlias excluindo atributos de subconsulta
  • [FAÍSCA-46681] [SC-153287][CORE] Refatore ExecutorFailureTracker#maxNumExecutorFailures para evitar calcular defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES está configurado
  • [FAÍSCA-46695] [SC-153289][SQL][VIH] Sempre definindo hive.execution.engine para mr
  • [FAÍSCA-46325] [SC-150228][CONECTAR] Remova funções de substituição desnecessárias ao construir WrappedCloseableIterator em ResponseValidator#wrapIterator
  • [FAÍSCA-46232] [SC-149699][PYTHON] Migre todos os ValueError restantes para a estrutura de erro do PySpark.
  • [FAÍSCA-46547] [SC-153174][SS] Engolir exceção não fatal na tarefa de manutenção para evitar o impasse entre o thread de manutenção e o operador de agregação de streaming
  • [FAÍSCA-46169] [SC-149373][PS] Atribua números JIRA apropriados para parâmetros ausentes da DataFrame API.
  • [FAÍSCA-45857] [SC-148096][SQL] Impor as classes de erro em subclasses de AnalysisException

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 15.1.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.11.0
  • R: 4.3.2
  • Lago Delta: 3.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AstTokens 2.0.5 Astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 Backcall 0.2.0
preto 23.3.0 pisca-pisca 1.4 boto3 1.34.39
botocore 1.34.39 Ferramentas de cache 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 Normalizador de Charset 2.0.4
clicar 8.0.4 Cloudpickle 2.2.1 Comm 0.1.2
contorno 1.0.5 criptografia 41.0.3 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.20.0 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 Distlib 0.3.8
pontos de entrada 0.4 execução 0.8.3 facetas-visão geral 1.1.1
filelock 3.13.1 Fonttools 4.25.0 GitDB 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 Google-Auth 2.28.2
google-nuvem-core 2.4.1 google-nuvem-armazenamento 2.15.0 Google-CRC32C 1.5.0
google-retomable-media 2.7.0 googleapis-comuns-protos 1.63.0 Grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadados 6.0.0 ipyflow-núcleo 0.0.198 Ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 Isodato 0.6.1
Jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
Joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 porta-chaves 23.5.0 Kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-em linha 0.1.6 mlflow-magro 2.11.1
mais-itertools 8.10.0 mypy-extensões 0.4.3 Ninho-Asyncio 1.5.6
numpy 1.23.5 OAuthlib 3.2.0 embalagem 23.2
pandas 1.5.3 Parso 0.8.3 PathSpec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 9.4.0 pip 23.2.1 plataformadirs 3.10.0
enredo 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
PSUTIL 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
puro-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-módulos 0.2.8 Pyccolo 0.0.52 pycparser 2.21
Pidântico 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 Pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 Pyzmq 23.2.0 pedidos 2.31.0
RSA 4,9 s3transferir 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
setuptools 68.0.0 seis 1.16.0 smmap 5.0.1
SQLPARSE 0.4.4 ssh-import-id 5.11 dados de pilha 0.2.0
statsmodels 0.14.0 tenacidade 8.2.2 ThreadPoolCtl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traços 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 Ujson 5.4.0
Upgrades autônomos 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 largura de wc 0.2.5 roda 0.38.4
widgetsnbextension 4.0.5 zipp | 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 AskPass 1.2.0 asserçãoat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 arranque 1.3-28
brew 1.0-10 Brio 1.1.4 vassoura 1.0.5
BSLIB 0.6.1 cachem 1.0.8 Chamador 3.7.3
acento circunflexo 6.0-94 Cellranger 1.1.0 crono 2.3-61
classe 7.3-22 cli 3.6.2 Clipr 0.8.0
relógio 0.7.0 cluster 2.1.4 codetools 0.2-19
espaço em cores 2.1-0 marca comum 1.9.1 compilador 4.3.2
configuração 0.3.2 conflituosos 1.2.0 CPP11 0.4.7
lápis de cor 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
DBPlyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 resumo 0.6.34
Iluminação reduzida 0.4.3 dplyr 1.1.4 DTPlyr 1.3.1
E1071 1.7-14 reticências 0.3.2 evaluate 0.23
Fãsi 1.0.6 Farver 2.1.1 mapa rápido 1.1.1
fontawesome 0.5.2 FORCATS 1.0.0 foreach 1.5.2
externa 0.8-85 forjar 0.2.0 FS 1.6.3
Futuro 1.33.1 future.apply 1.11.1 gargarejo 1.5.2
Genéricos 0.1.3 Gert 2.0.1 ggplot2 3.4.4
GH 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 Globais 0.16.2 colar 1.7.0
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.2 grDevices 4.3.2 grelha 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 capacete 1.3.1 Refúgio 2.5.4
mais alto 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
HTTR2 1.0.0 IDs 1.0.1 ini 0.3.1
ipred 0.9-14 Isoband 0.2.7 iteradores 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 suco suculento 0.1.0
KernSmooth 2.23-21 Knitr 1.45 etiquetagem 0.4.3
mais tarde 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 ouvirv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Marcação 1.12 MASSA 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
Mlflow 2.10.0 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 paralelo 4.3.2
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 elogiar 1.0.0
unidades bonitas 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 Profvis 0.3.8 Progresso 1.2.3
progressor 0.14.0 promessas 1.2.1 proto 1.0.0
procuração 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 RAGG 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactável 0.4.4
reactR 0.5.0 Leitor 2.1.5 ReadXL 1.4.3
receitas 1.0.9 revanche 2.0.0 revanche2 2.1.2
Controles remotos 2.4.2.1 Reprex 2.1.0 remodelar2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversões 2.1.2 Rvest 1.0.3 Sass 0.4.8
escalas 1.3.0 seletor 0.4-2 sessioninfo 1.2.2
forma 1.4.6 brilhante 1.8.0 ferramentas de origem 0.1.7-1
sparklyr 1.8.4 espacial 7.3-15 splines 4.3.2
sqldf 0.4-11 QUADRADO 2021.1 estatísticas 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
sobrevivência 3.5-5 swagger 3.33.1 sys 3.4.2
fontes do sistema 1.0.5 tcltk 4.3.2 testeatat 3.2.1
formatação de texto 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 Tidyverse 2.0.0 mudança de hora 0.3.0
timeDate 4032.109 Tinytex 0.49 ferramentas 4.3.2
TZDB 0.4.0 urlchecker 1.0.1 usethis 2.2.2
UTF8 1.2.4 utilitários 4.3.2 uuid 1.2-0
V8 4.4.1 VCTRS 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
Zeallot 0.1.0 zip 2.3.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.4.3
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-client_2.12 1.0.4
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formato de seta 15.0.0
org.apache.arrow seta-memória-núcleo 15.0.0
org.apache.arrow seta-memória-netty 15.0.0
org.apache.arrow vetor de seta 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapeado 1.11.3
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-núcleo 1.9.2-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.2-protobuf sombreado
org.apache.orc Orc-calços 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-coleções 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty cais-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mlflow mlflow-spark_2,12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j SLF4J-Simples 1.7.25
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1