Databricks Runtime 13.3 LTS
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, da plataforma Apache Spark 3.4.1.
O Databricks lançou esta versão em agosto de 2023.
Observação
LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.
Dica
Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.
Novos recursos e aprimoramentos
- Suporte do Scala para clusters compartilhados
- A lista de permitidos para scripts de inicialização, JARs e coordenadas maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública
- O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública
- Conversões seguras habilitadas por padrão nas operações do Delta Lake
- Apresentando marcas com o Catálogo do Unity
- O Databricks Runtime retorna um erro se um arquivo for modificado entre o planejamento e a invocação da consulta
- Bloqueio da substituição de esquema ao usar substituições de partição dinâmica
- Integrar a API copyFile em dbutils.fs.cp
- Suporte ao driver ODBC/JDBC do Databricks
- Suporte para marcadores de parâmetros não nomeados (posicionais)
- Habilitação da rotulagem de coluna de série temporal
- Novas funções SQL de bitmap
- Funções de criptografia aprimoradas
- Suporte do Catálogo do Unity para REFRESH FOREIGN
- INSERT BY NAME
- Compartilhamento de exibições materializadas com o Compartilhamento Delta
Suporte Scala para clusters compartilhados
Os clusters compartilhados habilitados para Catálogo do Unity agora dão suporte ao Scala, ao usar o Databricks Runtime 13.3 e superior.
A lista de permitidos para scripts de inicialização, JARs e coordenadas Maven em clusters compartilhados do Catálogo do Unity está em Visualização Pública
Agora você pode usar o Catálogo do Unity allowlist
para controlar a instalação de scripts de inicialização, JARs e coordenadas Maven na computação com modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Confira Bibliotecas de lista de permitidos e scripts de inicialização na computação compartilhada.
O suporte a volumes para scripts de inicialização e JARs está em Visualização Pública
Agora você pode usar volumes do Catálogo do Unity para armazenar scripts de inicialização e JARs na computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Veja Onde os scripts de inicialização podem ser instalados? e bibliotecas com escopo de cluster.
Conversões seguras habilitadas por padrão nas operações do Delta Lake
As operações UPDATE
e MERGE
Delta já resultam em um erro quando os valores não podem ser convertidos com segurança no tipo do esquema da tabela de destino. Todas as conversões implícitas no Delta já seguem spark.sql.storeAssignmentPolicy
em vez de spark.sql.ansi.enabled
. Confira Conformidade com o ANSI no Databricks Runtime.
Apresentando marcas com o Catálogo do Unity
Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar marcas aos objetos protegíveis. As marcas ajudam você a organizar objetos protegíveis e simplificar a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar marcas a objetos protegíveis do Catálogo do Unity.
O Databricks Runtime retorna um erro se um arquivo é modificado entre o planejamento e a invocação da consulta
As consultas do Databricks Runtime já retornam um erro se um arquivo é atualizado entre o planejamento e a invocação da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre essas fases, o que ocasionalmente gerava resultados imprevisíveis.
Bloqueio da substituição de esquema ao usar substituições de partição dinâmica
Não é possível definir overwriteSchema
como true
em combinação com substituições de partição dinâmica no Delta Lake. Isso evita a possível corrupção de tabela devido à incompatibilidade de esquema. Confira Substituições de partição dinâmica.
Integração da API copyFile a dbutils.fs.cp
O comando dbutils copy, dbutils.fs.cp
, foi otimizado para uma cópia mais rápida. Com esse aprimoramento, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, incluindo para volumes de catálogo do Unity e montagens do Sistema de Arquivos do Databricks.
Suporte ao driver ODBC/JDBC do Databricks
O Azure Databricks dá suporte a drivers ODBC e JDBC lançados nos últimos dois anos. Baixe o último driver em Baixar driver ODBC e Baixar driver JDBC.
Suporte para marcadores de parâmetros não nomeados (posicionais)
A API SparkSession.sql()
já dá suporte a consultas parametrizadas por meio da sintaxe ?
, além de consultas parametrizadas com a sintaxe :parm
. Confira Marcadores de parâmetros.
Habilitação da rotulagem de coluna de série temporal
Agora você pode rotular colunas de série temporal ao criar restrições de chave primária.
Novas funções SQL de bitmap
O Azure Databricks agora forneceu um conjunto de funções que podem ser usadas para mapear valores numéricos integrais em um bitmap e agregá-los. Isso pode ser usado para pré-calcular o número de valores distintos.
Funções de criptografia aprimoradas
As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram aprimoradas com suporte para IV (vetores de inicialização) e AAD (dados adicionais autenticados).
Suporte do Catálogo do Unity para REFRESH FOREIGN
Agora você pode atualizar catálogos, esquemas e tabelas estrangeiros no Catálogo do Unity usando REFRESH FOREIGN CATALOG
, REFRESH FOREIGN SCHEMA
e REFRESH FOREIGN TABLE
. Confira REFRESH FOREIGN (CATALOG, SCHEMA e TABLE).
INSERT BY NAME
Ao inserir linhas em uma tabela, você já pode permitir que o Azure Databricks mapeie colunas e campos na consulta de origem automaticamente para as colunas da tabela pelo nome. Veja INSERT INTO.
Compartilhamento de exibições materializadas com o Compartilhamento Delta
A instrução ALTER SHARE agora dá suporte a exibições materializadas.
Alterações de quebra
Alterações na conversão implícita ao armazenar linhas em uma tabela com MERGE INTO e UPDATE
O Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy
para conversão implícita ao armazenar linhas em uma tabela. O valor padrão ANSI
gera um erro ao armazenar valores que causa estouro. Anteriormente, os valores seriam armazenados como NULL
por padrão.
Como no exemplo a seguir, você pode resolver estouros reescrevendo a tabela para usar um tipo mais amplo para a coluna que está causando o erro.
-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
'delta.minReaderVersion' = '2',
'delta.minWriterVersion' = '5',
'delta.columnMapping.mode' = 'name'
)
-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT
-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old
-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old
Alterações na inferência de esquema do Parquet
Ao inferir esquemas de arquivos Parquet não escritos pelo Spark, colunas de carimbo de data/hora int64
anotadas com isAdjustedToUTC=false
agora serão padrão para o tipo TIMESTAMP_NTZ
. Anteriormente, elas eram inferidas como tipo TIMESTAMP
. Esta atualização melhora a precisão na correspondência dos tipos Parquet com os tipos SQL do Spark.
Como resultado, a leitura de dados de arquivos Parquet externos para uma tabela Delta pode resultar em erro se o recurso timestampNtz
não estiver habilitado. O erro será exibido da seguinte maneira:
Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.
Para manter o comportamento anterior e evitar esse erro, você pode definir o parâmetro de configuração spark.sql.parquet.inferTimestampNTZ.enabled
do Spark como false
.
Atualizações da biblioteca
- Bibliotecas do Python atualizadas:
- debugpy de 1.5.1 a 1.6.0
- distlib de 0.3.6 para 0.3.7
- fastjsonschema de 2.16.3 para 2.18.0
- filelock de 3.12.0 para 3.12.2
- Bibliotecas do R atualizadas:
- SparkR de 3.4.0 a 3.4.1
- Bibliotecas do Java atualizadas:
- org.apache.orc.orc-core de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf a 1.8.4-shaded-protobuf
- org.apache.orc.orc-shims de 1.8.3 a 1.8.4
- org.eclipse.jetty.jetty-client de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-continuation de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-http de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-io de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-security de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-server de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-util de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 para 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 para 9.4.51.v20230217
- org.xerial.snappy.snappy-java de 1.1.8.4 para 1.1.10.1
Apache Spark
O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 13.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- Agora você pode definir a variável de ambiente de cluster
SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12
para usar o conector Spark-snowflake v2.12.0. - [SPARK-43380] [DBRRM-383] Reverter “[SC-133100][SQL] Corrigir conversão do tipo de dados Avro…
- [SPARK-44504] [Backport][13.2][13.x][13.3] Descarregar provedor forçando assim o fechamento da instância do BD e liberando recursos no erro da tarefa de manutenção
- [SPARK-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
- [SPARK-44485] [SC-137653][SQL] Otimizar TreeNode.generateTreeString
- [SPARK-42944] [SC-137164][SS][PYTHON] Streaming ForeachBatch em Python
- [SPARK-44446] [SC-136994][PYTHON] Adicionar verificações para casos especiais de tipo de lista esperados
- [SPARK-44439] [SC-136973][CONNECT][SS]Corrigido listListeners para enviar apenas IDs de volta ao cliente
- [SPARK-44216] [SC-136941] [PYTHON] Tornar pública a API assertSchemaEqual
- [SPARK-44201] [SC-136778][CONNECT][SS]Adicionar suporte para o ouvinte de streaming no Scala para Spark Connect
- [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43798] Reverter "[SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python"
- [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
- [SPARK-44476] [SC-137169][CORE][CONNECT] Corrigir a população de artefatos para um JobArtifactState sem artefatos associados
- [SPARK-44269] [SC-135817][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2310-2314]
- [SPARK-44395] [SC-136744][SQL] Atualizar argumentos TVF para exigir parênteses em torno do identificador após palavra-chave TABLE
- [SPARK-43915] [SC-134766][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Adicionar suporte para UDFRegistration ao cliente Connect Scala
- [SPARK-44109] [SC-134755][CORE] Remover locais preferenciais duplicados de cada partição RDD
- [SPARK-44169] [SC-135497][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2300-2304]
- [SPARK-41487] [SC-135636][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1020
- [SPARK-44398] [SC-136720][CONNECT] API da Scala foreachBatch
- [SPARK-44153] [SC-134977][CORE][UI] Coluna de suporte
Heap Histogram
na guiaExecutors
- [SPARK-44044] [SC-135695][SS] Melhorar a mensagem de erro para funções de janela com streaming
- [SPARK-43914] [SC-135414][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2433-2437]
- [SPARK-44217] [SC-136805][PYTHON] Permitir precisão personalizada para igualdade de aproximação de fp
- [SPARK-44370] [SC-136575][CONNECT] Migrar a geração remota alfa do Buf para plug-ins remotos
- [SPARK-44410][PYTHON][CONNECT] Backport para 136930: Definir sessão ativa em create, não apenas getOrCreate
- [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Reabilitar test_artifact com alterações relevantes
- [SPARK-44145] [SC-136698][SQL] Retorno de chamada quando estiver pronto para execução
- [SPARK-44264] [SC-136870][PYTHON][ML] Classe FunctionPickler
- [SPARK-43986] [SC-135623][SQL] Criar classes de erro para falhas de chamada da função HyperLogLog
- [SPARK-44139] [SC-134967][SQL] Descartar filtros completamente enviados por push em operações MERGE baseadas em grupo
- [SPARK-44338] [SC-136718][SQL] Corrigir mensagem de erro de incompatibilidade de esquema de exibição
- [SPARK-44208] [SC-135505][CORE][SQL] Atribuir nomes de classe de erro claros para alguma lógica que usa diretamente exceções
- [SPARK-44364] [SC-136773] [PYTHON] Adicionar suporte ao tipo de dados List[Row] para o esperado
- [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils deve aplicar ResolveTimeZone
- [SPARK-43389] [SC-136772][SQL] Adicionou uma marcar nulo para a opção lineSep
- [SPARK-44388] [SC-136695][CONNECT] Corrigir problema de conversão de protobuf quando a instância do UDF é atualizada
- [SPARK-44352] [SC-136373][CONNECT] Colocar de volta sameType e amigos no DataType.
- [SPARK-43975] [SC-134265][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
- [SPARK-44360] [SC-136461][SQL] Suporte à remoção de esquema em operações MERGE baseadas em delta
- [SPARK-44138] [SC-134907][SQL] Proibir expressões, subconsultas e agregações não determinísticas em condições MERGE
- [SPARK-43321] [SC-136678][Connect][Followup] Nomes melhores para APIs usadas em junção do cliente ScalaWith
- [SPARK-44263] [SC-136447][CONNECT] Suporte a interceptadores personalizados
- [SPARK-39851] [SC-123383][SQL] Melhorar a estimativa de estatísticas de junção se um lado puder manter a exclusividade
- [SPARK-44390] [SC-136677][CORE][SQL] Renomear
SparkSerDerseUtils
paraSparkSerDeUtils
- [SPARK-44004] [SC-134751][SQL] Atribuir nome e aprimorar mensagem de erro para erros HERDADOS frequentes.
- [SPARK-44322] [SC-136204][CONNECT] Faça o analisador usar SqlApiConf em vez de SQLConf.
- [SPARK-44271] [SC-136347][SQL] Mover funções de valores padrão de StructType para ResolveDefaultColumns
- [SPARK-44332] [SC-136413][CORE][WEBUI] Corrigir o erro de classificação da coluna de ID do executor na página do executor da interface do usuário
- [SPARK-44282] [SC-135948][CONNECT] Preparar a análise de DataType para uso no cliente Spark Connect Scala
- [SPARK-44349] [SC-136581][R] Adicionar funções matemáticas ao SparkR
- [SPARK-44397] [SC-136647][PYTHON] Expor assertDataFrameEqual em pyspark.testing.utils
- [SPARK-42981] [SC-136620][CONNECT] Adicionar serialização de seta direta
- [SPARK-44373] [SC-136577][SQL] Encapsular comActive para a lógica de análise da API do conjunto de dados para fazer com que a configuração relacionada ao analisador funcione
- [SPARK-44340] [SC-136574][SQL] Defina a lógica de computação por meio da API PartitionEvaluator e use-a em WindowGroupLimitExec
- [SPARK-43665] [SC-136573][CONNECT][PS] Habilitar PandasSQLStringFormatter.vformat para trabalhar com o Spark Connect
- [SPARK-44325] [SC-136572][SQL] Usar a API PartitionEvaluator no MapInBatchExec
- [SPARK-44315] [SC-136171][SQL][CONNECT] Mover DefinedByConstructorParams para SQL/API
- [SPARK-44275] [SC-136184][CONNECT] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
- [SPARK-44326] [SC-136208][SQL][CONNECT] Move util que são usados do cliente Scala para os módulos comuns
- [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
- [SPARK-44343] [SC-136372][CONNECT] Preparar ScalaReflection para a mudança para SQL/API
- [SPARK-44313] [SC-136081][SQL] Corrige a validação de expressão de coluna gerada quando há uma coluna char/varchar no esquema
- [SPARK-43963] [SC-134145][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupo
- [SPARK-44363] [SC-136433] [PYTHON] Exibe porcentagem de linhas desiguais na comparação de DataFrame
- [SPARK-44251] [SC-136432][SQL] Definir anulável corretamente na chave de junção unida na junção USING externa completa
- [SPARK-43948] [SC-133366][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
- [SPARK-44329] [SC-136326][CONNECT][PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt para Scala e Python
- [SPARK-44351] [SC-136353][SQL] Fazer alguma simplificação sintática
- [SPARK-44281] [SC-135963][SQL] Mover o erro QueryCompilation usado pelo DataType para SQL/API como DataTypeErrors
- [SPARK-44283] [SC-136109][CONNECT] Mover origem para SQL/API
- [SPARK-43926] [SC-135590][CONNECT][PYTHON] Adicionar array_agg, array_size, cardinality, count_min_sketch,mask,named_struct,json_* para Scala e Python
- [SPARK-44327] [SC-136187][SQL][CONNECT] Adicionar funções
any
elen
ao Scala - [SPARK-44290] [SC-136300][CONNECT] Arquivos e arquivos baseados em sessão no Spark Connect
- [SPARK-44061] [SC-136299][PYTHON] Adicionar função util assertDataFrameEqual
- [SPARK-44331] [SC-136324][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
- [SPARK-44342] [SC-136334][SQL] Substituir SQLContext por SparkSession para GenTPCDSData
- [SPARK-42583] [SC-124190][SQL] Remova a junção externa se todas elas forem funções de agregação distintas
- [SPARK-44333] [SC-136206][CONNECT][SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
- [SPARK-43824] [SC-132655][SPARK-43825][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
- [SPARK-43939] [SC-134602][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
- [SPARK-44193] [SC-135886][CONNECT] Implementar interceptação de exceções GRPC para conversão
- [SPARK-44284] [SC-136107][CONNECT] Criar um sistema de configuração simples para SQL/API
- [SPARK-43913] [SC-133368][SQL] Atribuir um nome à classe de erro LEGACY_ERROR_TEMP[2426-2432]
- [SPARK-44291] Reverter "[SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo"
- [SPARK-44312] [SC-136185][CONNECT][PYTHON] Permitir definir um agente de usuário com uma variável de ambiente
- [SPARK-44154] [SC-136060] Implementar funções de bitmap
- [SPARK-43885] [SC-133996][SQL] DataSource V2: manipular comandos MERGE para fontes baseadas em delta
- [SPARK-43924] [SC-135161][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python
- [SPARK-43969] [SC-134556][SQL] Refatorar e Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1170
- [SPARK-44185] [SC-135730][SQL] Corrigir a qualificação de caminho inconsistente entre operações de catálogo e dados
- [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
- [SPARK-43942] [SC-134527][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python - Parte 1
- [SPARK-44266] [SC-135813][SQL] Mover Util.truncatedString para SQL/API
- [SPARK-44195] [SC-135722][R] Adicionar APIs JobTag ao SparkR SparkContext
- [SPARK-44200] [SC-135736][SQL] Suporte à regra do analisador de argumento TABLE para TableValuedFunction
- [SPARK-44254] [SC-135709][SQL] Mover o erro QueryCompilation usado pelo DataType para SQL/API como DataTypeErrors
- [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Corrigir esquema incorreto para consulta de intervalo
- [SPARK-43922] [SC-135612][SQL] Adicionar suporte a parâmetro nomeado no analisador para chamadas de função
- [SPARK-44300] [SC-135882][CONNECT] Corrigir limpeza de artefato para limitar o escopo de exclusão a artefatos específicos da sessão
- [SPARK-44293] [SC-135849][CONNECT] Corrigir URI inválido para JARs personalizados no Spark Connect
- [SPARK-44215] [SC-135850][SHUFFLE] Se as partes num forem 0, o servidor deverá gerar uma RuntimeException
- [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests deve ser somente ilustrativo
- [SPARK-44274] [SC-135814][CONNECT] Mover funções util usadas pelo ArtifactManager para usos/comuns
- [SPARK-44194] [SC-135815][PYTHON][CORE] Adicionar APIs JobTag ao PySpark SparkContext
- [SPARK-42828] [SC-135733][PYTHON][SQL] Anotações de tipo Python mais explícitas para GroupedData
- [SPARK-44079] [SC-135486][SQL] Correção de
ArrayIndexOutOfBoundsException
ao analisar matriz como struct usando o modo PERMISSIVE com registro corrompido - [SPARK-44255] [SC-135809][SQL] Realocar StorageLevel para common/utils
- [SPARK-42169] [SC-135795] [SQL] Implementar a geração de código para to_csv função (StructsToCsv)
- [SPARK-44249] [SC-135719][SQL][PYTHON] Refatorar PythonUDTFRunner para enviar seu tipo de retorno separadamente
- [SPARK-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
- [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implementar SparkSession.is_stopped
- [SPARK-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
- [SPARK-41599] [SC-135616] Vazamento de memória em FileSystem.CACHE ao enviar aplicativos para um cluster seguro usando InProcessLauncher
- [SPARK-44241] [SC-135613][Core] Definir erroneamente io.connectionTimeout/connectionCreationTimeout como zero ou negativo causará contras/destruição incessantes do executor
- [SPARK-44133] [SC-134795][13.X][PYTHON] Atualizar o MyPy de 0.920 para 0.982
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
- [SPARK-44188] [SC-135173][CORE] Remover método inútil
resetAllPartitions
emActiveJob
- [SPARK-43757] [SC-135418][CONNECT] Alterar a compatibilidade do cliente da lista de permissões para a lista de negações
- [SPARK-43474] [SC-135521] [SS] [CONNECT] Adicione um acesso do Spark Connect aos Dataframes de runtime por ID.
- [SPARK-44183] [SC-135209][PYTHON] Increate
PyArrow
a versão mínima para 4.0.0 - [SPARK-44248] [SC-135554][SS][SQL][Kafka] Adicionar local preferencial na fonte Kafka v2
- [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Adicionar funções de data e hora a API do Scala, Python e Connect - parte 1
- [SPARK-44161] [SC-135326][Conectar] Manipular entrada de linha para UDFs
- [SPARK-44227] [SC-135520][SQL] Extrair SchemaUtils de StructField
- [SPARK-44064] [SC-135116][CORE][SQL] Adicionar uma nova
apply
função aNonFateSharingCache
- [SPARK-44171] [SC-135269][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] e excluir algumas classes de erro não utilizados
- [SPARK-44056] [SC-134758][SQL] Incluir nome UDF na mensagem de erro de falha de execução da UDF quando disponível
- [SPARK-44205] [SC-135422][SQL] Extrair código Catalyst de DecimalType
- [SPARK-44220] [SC-135484][SQL] Mover StringConcat para SQL/API
- [SPARK-44146] [SC-135230][CONNECT] Isolar jars e arquivos de classe da Sessão do Spark Connect
- [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr escopo Session.active
- [SPARK-40850] [SC-135417][SQL] Corrigir consultas interpretadas por caso de teste podem executar Codegen
- [SPARK-44204] [SC-135253][SQL][HIVE] Adicionar registro ausenteHiveCall para getPartitionNames
- [SPARK-44237] [SC-135485][CORE] Simplificar a lógica de pesquisa do construtor DirectByteBuffer
- [SPARK-44189] [SC-135170][CONNECT][PYTHON] Suporte a parâmetros posicionais por
sql()
- [SPARK-44140] [SC-134893][CONNECT][PYTHON] Suporte a parâmetros posicionais em Python
sql()
- [SPARK-44164] [SC-135158][SQL] Extrair método toAttribute da classe StructField para Util
- [SPARK-44178] [SC-135113][CONNECT][PYTHON] Suporte a parâmetros posicionais por
sql()
- [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
- [SPARK-43063] [SC-128382][SQL]
df.show
identificador nulo deve imprimir NULL em vez de null - [SPARK-42539] [SC-124464][SQL][HIVE] Eliminar o carregador de classes separado ao usar a versão 'incorporada' do Hive para o cliente de metadados
- [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
- [SPARK-44066] [SC-134878][CONNECT][PYTHON] Suporte a parâmetros posicionais em Scala/Java
sql()
- [SPARK-44078] [SC-134869][CONNECT][CORE] Adicionar suporte para isolamento de classe/recurso
- [SPARK-43470] [SC-135187][CORE] Adicionar informações de versão do SISTEMA OPERACIONAL, Java e Python ao log do aplicativo
- [SPARK-43136] [SC-135238][CONNECT][Followup] Adicionando testes para KeyAs
- [SPARK-39740] [SC-135093][UI]: atualizar linha do tempo vis para 7.7.2 para corrigir CVE-2020-28487
- [SPARK-42298] [SC-133952][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2132
- [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
- [SPARK-44026] [SC-135181] Permitir fornecer valor inicial para SQLMetrics
- [SPARK-44202] [SC-135244][CORE] Adicionar APIs JobTag ao JavaSparkContext
- [SPARK-44030] [SC-135237][SQL] Implementar DataTypeExpression para oferecer Unapply para expressão
- [SPARK-43876] Reverter "[SC-134603][SQL] Habilitar hashmap rápido para consultas distintas"
- [SPARK-40082] [SC-126437] Agendar mergeFinalize quando a mesclagem por push shuffleMapStage tentar novamente, mas nenhuma tarefa em execução
- [SPARK-43888] [SC-132893][CORE] Realocar o registro em log para common/utils
- [SPARK-43474] [SC-134400] [SS] [CONNECT] Adicionar SessionHolder ao SparkConnectPlanner
- [SPARK-43944] [SC-134490][CONNECT][PYTHON] Adicionar funções de bitmap ao Scala e Python - Parte 2
- [SPARK-44134] [SC-134954][CORE] Corrigir recursos de configuração (GPU/FPGA) como 0 quando eles são definidos em spark-defaults.conf
- [SPARK-44142] [SC-134947][PYTHON] Substitua o tipo por tpe no utilitário para converter tipos Python em tipos Spark
- [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Adicionar APIs SparkContext para cancelamento de consulta por marca
- [SPARK-44000] [SC-133634][SQL] Adicionar dica para desabilitar a transmissão e replicar um lado da junção
- [SPARK-43937] [SC-134362][CONNECT][PYTHON] Adicionar ifnull,isnotnull,equal_null,nullif,nvl,nvl2 a Scala e Python
- [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Adicionar
EWM
ao SparkConnectPlanner. - [SPARK-44040] [SC-134366][SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
- [SPARK-43485] [SC-131264][SQL] Corrigir a mensagem de erro para o
unit
argumento das funções datetime add/diff - [SPARK-43794] [SC-132561][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1335
- [SPARK-43511] [SC-134749][CONNECT][SS]Implemented MapGroupsWithState e FlatMapGroupsWithState APIs para Spark Connect
- [SPARK-43529] [SQL] Suporte a expressões CREATE/REPLACE TABLE OPTIONS + limpeza de código
- [SPARK-44106] [SC-134750][PYTHON][CONNECT] Adicionar
__repr__
aGroupedData
- [SPARK-42299] [SC-133190][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2206
- [SPARK-43290] [SC-134388][SQL] Adiciona suporte para IVs aes_encrypt e AAD
- [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Adicionar
current
funções semelhantes a Scala e Python - [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Adicionar funções regexp_* ao Scala e Python
- [SPARK-44107] [SC-134746][CONNECT][PYTHON] Ocultar métodos Column sem suporte do preenchimento automático
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Evento Serde no formato JSON
- [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implementar funções 'levenshtein(str1, str2[, threshold])' no cliente Python
- [SPARK-44125] [SC-134745][R] Suporte a Java 21 no SparkR
- [SPARK-43919] [SC-133374][SQL] Extrair funcionalidade JSON fora da linha
- [SPARK-43769] [SC-132520][CONNECT] Implementar funções 'levenshtein(str1, str2[, threshold])'
- [SPARK-44012] [SC-134662][SS] KafkaDataConsumer para imprimir algumas status
- [SPARK-43876] [SC-134603][SQL] Habilitar hashmap rápido para consultas distintas
- [SPARK-44024] [SC-134497][SQL] Alterar para usar
map
quandounzip
usado apenas para extrair um único elemento - [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Adicionar operações de bit à API Scala, Python e Connect
- [SPARK-44092] [SC-134506][CORE] Adicionar
Utils.isJavaVersionAtLeast21
e fazer o módulocore
passar com Java 21 - [SPARK-44018] [SC-134512][SQL] Melhorar o hashCode e toString para alguma expressão DS V2
- [SPARK-44105] [SC-134582][SQL]
LastNonNull
deve ser resolvido lentamente - [SPARK-44081] [SC-134434] Simplificar um pouco a API PartitionedFileUtil
- [SPARK-43791] [SC-132531][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1336
- [SPARK-44071] [SC-134435] Definir e usar características Unresolved[Leaf|Unary]Node.
- [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
- [SPARK-43742] [SC-132684][SQL] Refatorar resolução de valor de coluna padrão
- [SPARK-43493] [SC-132063][SQL] Adicione um argumento de distância máxima à função levenshtein()
- [SPARK-44075] [SC-134382][CONNECT] Tornar
transformStatCorr
lento - [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Adicione alguns, bool_or,bool_and, cada um para Scala, Python e Connect
- [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Adicionar funções make_* a Scala e Python
- [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
- [SPARK-43962] [SC-133367][SQL] Aprimorar mensagens de erro:
CANNOT_DECODE_URL
,CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE
,CANNOT_PARSE_DECIMAL
,CANNOT_READ_FILE_FOOTER
,CANNOT_RECOGNIZE_HIVE_TYPE
. - [SPARK-43938] [SC-133887][CONNECT][PYTHON] Adicionar funções to_* ao Scala e Python
- [SPARK-44055] [SC-134321][CORE] Remover funções redundantes
override
deCheckpointRDD
- [SPARK-43802] [SC-132597][SQL] Corrigir codegen para unhex e unbase64 com failOnError=true
- [SPARK-43798] [SC-133990][SQL][PYTHON] Suporte a funções de tabela definidas pelo usuário do Python
- [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Adicionar any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduzir à API Scala, Python e Connect
- [SPARK-43380] [SC-133100][SQL] Corrigir problemas de conversão de tipo de dados Avro para evitar a produção de resultados incorretos
- [SPARK-43803] [SC-133729] [SS] [CONNECT] Aprimorar awaitTermination() para lidar com desconexões de cliente
- [SPARK-43179] [SC-129070][SHUFFLE] Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Ordem Externo
Suporte ao driver ODBC/JDBC do Databricks
O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).
Confira Atualizações de manutenção do Databricks Runtime 13.3.
Ambiente do sistema
- Sistema operacional: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
Bibliotecas Python instaladas
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | clique | 8.0.4 | criptografia | 37.0.1 |
cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
dbus-python | 1.2.18 | debugpy | 1.6.0 | decorator | 5.1.1 |
defusedxml | 0.7.1 | distlib | 0.3.7 | docstring-to-markdown | 0,12 |
entrypoints | 0,4 | em execução | 1.2.0 | facets-overview | 1.0.3 |
fastjsonschema | 2.18.0 | filelock | 3.12.2 | fonttools | 4.25.0 |
googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
httplib2 | 0.20.2 | idna | 3.3 | importlib-metadata | 4.6.4 |
ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
nodeenv | 1.8.0 | notebook | 6.4.12 | numpy | 1.21.5 |
oauthlib | 3.2.0 | empacotando | 21.3 | pandas | 1.4.4 |
pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
pyright | 1.1.294 | pyrsistent | 0.18.0 | python-dateutil | 2.8.2 |
python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
pytz | 2022.1 | pyzmq | 23.2.0 | solicitações | 2.28.1 |
rope | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
Send2Trash | 1.8.0 | setuptools | 63.4.1 | six | 1.16.0 |
soupsieve | 2.3.1 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0,1 |
urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
zipp | 1.0.0 |
Bibliotecas R instaladas
As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
seta | 10.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
callr | 3.7.3 | sinal de interpolação | 6.0-93 | cellranger | 1.1.0 |
chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
crayon | 1.5.2 | credenciais | 1.3.2 | curl | 5.0.0 |
data.table | 1.14.6 | conjuntos de dados | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
ellipsis | 0.3.2 | evaluate | 0,20 | fansi | 1.0.4 |
farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
future.apply | 1.10.0 | gargle | 1.3.0 | genéricos | 0.1.3 |
gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
gower | 1.0.1 | elemento gráfico | 4.2.2 | grDevices | 4.2.2 |
grade | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
highr | 0,10 | hms | 1.1.2 | htmltools | 0.5.4 |
htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
lava | 1.7.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
MASS | 7.3-58.2 | Matriz | 1.5-1 | memoise | 2.0.1 |
methods | 4.2.2 | mgcv | 1.8-41 | mime | 0,12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | profvis | 0.3.7 | progress | 1.2.2 |
progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.20 | rstudioapi | 0,14 | rversions | 2.1.2 |
rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
SparkR | 3.4.1 | spatial | 7.3-15 | splines | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
tinytex | 0,44 | tools | 4.2.2 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.37 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.7 | zip | 2.2.2 |
Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)
ID do Grupo | Artifact ID | Versão |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | fluxo | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.2.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
com.fasterxml.jackson.core | jackson-core | 2.14.2 |
com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.2-5 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.9 |
com.google.crypto.tink | tink | 1.7.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.1.214 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0,21 |
io.delta | delta-sharing-spark_2.12 | 0.7.1 |
io.dropwizard.metrics | metrics-core | 4.2.10 |
io.dropwizard.metrics | metrics-graphite | 4.2.10 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
io.dropwizard.metrics | metrics-jmx | 4.2.10 |
io.dropwizard.metrics | metrics-json | 4.2.10 |
io.dropwizard.metrics | metrics-jvm | 4.2.10 |
io.dropwizard.metrics | metrics-servlets | 4.2.10 |
io.netty | netty-all | 4.1.87.Final |
io.netty | netty-buffer | 4.1.87.Final |
io.netty | netty-codec | 4.1.87.Final |
io.netty | netty-codec-http | 4.1.87.Final |
io.netty | netty-codec-http2 | 4.1.87.Final |
io.netty | netty-codec-socks | 4.1.87.Final |
io.netty | netty-common | 4.1.87.Final |
io.netty | netty-handler | 4.1.87.Final |
io.netty | netty-handler-proxy | 4.1.87.Final |
io.netty | netty-resolver | 4.1.87.Final |
io.netty | netty-transport | 4.1.87.Final |
io.netty | netty-transport-classes-epoll | 4.1.87.Final |
io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.87.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | coletor | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1,3 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.33 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | arrow-format | 11.0.0 |
org.apache.arrow | arrow-memory-core | 11.0.0 |
org.apache.arrow | arrow-memory-netty | 11.0.0 |
org.apache.arrow | arrow-vector | 11.0.0 |
org.apache.avro | avro | 1.11.1 |
org.apache.avro | avro-ipc | 1.11.1 |
org.apache.avro | avro-mapred | 1.11.1 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
org.apache.logging.log4j | log4j-api | 2.19.0 |
org.apache.logging.log4j | log4j-core | 2.19.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
org.apache.orc | orc-core | 1.8.4-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.8.4-shaded-protobuf |
org.apache.orc | orc-shims | 1.8.4 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4,22% |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.19.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-continuation | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-http | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-io | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-jndi | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-plus | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-proxy | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-security | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-server | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-servlet | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-servlets | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-util | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-util-ajax | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-webapp | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-xml | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-api | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-client | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-common | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-server | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.51.v20230217 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.2.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.8 |
org.roaringbitmap | RoaringBitmap | 0.9.39 |
org.roaringbitmap | shims | 0.9.39 |
org.rocksdb | rocksdbjni | 7.8.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1,0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.6 |
org.slf4j | jul-to-slf4j | 2.0.6 |
org.slf4j | slf4j-api | 2.0.6 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.1 |
org.yaml | snakeyaml | 1.33 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |