Azure Databricks Runtime 14.3 LTS
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.3 LTS, da plataforma Apache Spark 3.5.0.
O Databricks lançou esta versão em fevereiro de 2024.
Observação
LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.
Dica
Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.
Novos recursos e aprimoramentos
- Suporte ao sistema de arquivos de espaço de trabalho em UDFs (funções definidas pelo usuário) do PySpark em clusters compartilhados
- Suporte para otimizações
MERGEde vetor de exclusão sem o Photon - APIs de catálogo do Spark agora têm suporte completo no modo de acesso compartilhado
- O Delta UniForm agora está em disponibilidade geral
- Nva função SQL EXECUTE IMMEDIATE
- Recomputar dados ignorando estatísticas de tabelas Delta
- Informações de estado de consulta para consultas de streaming com estado
- Usar o Microsoft Entra ID para autenticação Kafka em clusters compartilhados
- Suporte adicionado para a remoção de partição e arquivo para melhorar o desempenho da consulta
- Declarar variáveis temporárias em uma Sessão SQL
- Atualizações do Thriftserver para remover recursos não utilizados
- Usar arquivos truststore e repositório de chaves nos volumes do Catálogo do Unity
- Suporte ao formato de arquivo XML nativo (Visualização Pública)
- Suporte para armazenamento cloudflare R2 (versão prévia pública)
- Suporte ao acesso do Spark e do dbutils a arquivos de workspace em clusters do Catálogo do Unity de acesso compartilhado
- Suporte a scripts de inicialização e biblioteca de clusters em clusters do Catálogo do Unity de acesso compartilhado
Suporte ao sistema de arquivos de espaço de trabalho em UDFs (funções definidas pelo usuário) do PySpark em clusters compartilhados
As UDFs do PySpark em clusters compartilhados agora podem importar módulos Python de pastas Git, arquivos de espaços de trabalho ou volumes UC.
Para obter mais informações sobre como trabalhar com módulos em pastas Git e arquivos de workspace, consulte Trabalhar com módulos Python e R.
Suporte para otimizações MERGE de vetor de exclusão sem o Photon
O Photon não é mais necessário para operações MERGE para aproveitar otimizações de vetores de exclusão. Confira O que são vetores de exclusão?
APIs de catálogo do Spark agora têm suporte completo no modo de acesso compartilhado
Agora você pode usar todas as funções na API spark.catalog em Python e Scala na computação configurada com o modo de acesso compartilhado.
O Delta UniForm agora está em disponibilidade geral
O UniForm agora está em disponibilidade geral e usa o recurso de tabela IcebergCompatV2. Agora você pode habilitar ou atualizar o UniForm em tabelas existentes. Confira Usar o UniForm para fazer a leitura das Tabelas do Delta com clientes do Iceberg.
Nova função SQL EXECUTE IMMEDIATE
Agora você pode usar a sintaxe EXECUTE IMMEDIATE para dar suporte a consultas parametrizadas no SQL. Consulte EXECUTE IMMEDIATE.
Recomputar dados ignorando estatísticas de tabelas Delta
Agora você pode recomputar estatísticas armazenadas no log Delta depois de alterar colunas usadas para ignorar dados. Consulte Especificar as colunas de estatísticas Delta.
Informações de estado de consulta para consultas de streaming com estado
Agora você pode consultar metadados e dados de estado de Fluxo estruturado. Consulte Ler informações de estado de Fluxo estruturado.
Usar o Microsoft Entra ID para autenticação Kafka em clusters compartilhados
Agora você pode autenticar os serviços dos Hubs de Eventos por meio do OAuth com o Microsoft Entra ID na computação configurada com o modo de acesso compartilhado. Confira a seção Autenticação da entidade de serviço com o Microsoft Entra ID e os Hubs de Eventos do Azure.
Suporte adicionado para a remoção de partição e arquivo para melhorar o desempenho da consulta
Para acelerar algumas consultas que dependem da igualdade tolerante a nulos em condições JOIN, agora damos suporte a DynamicFilePruning e DynamicPartitionPruning para o operador EqualNullSafe em JOINs.
Declarar variáveis temporárias em uma Sessão SQL
Esta versão apresenta a capacidade de declarar variáveis temporárias em uma sessão, que podem ser definidas e, em seguida, referenciadas de dentro de consultas. Confira Variáveis.
Atualizações do Thriftserver para remover recursos não utilizados
O código do Thriftserver foi atualizado para remover o código de recursos obsoletos. Devido a essas alterações, as seguintes configurações não têm mais suporte:
- Os JARs auxiliares do Hive, configurados usando a propriedade
hive.aux.jars.path, não têm mais suporte para conexõeshive-thriftserver. - O arquivo de inicialização global do Hive (
.hiverc), cuja localização está configurada usando a propriedadehive.server2.global.init.file.locationou a variável de ambienteHIVE_CONF_DIR, não tem mais suporte para conexõeshive-thriftserver.
Use arquivos truststore e repositório de chaves em volumes do Catálogo do Unity
Agora você pode usar os arquivos truststore e repositório de chaves nos volumes do Catálogo do Unity para autenticar um Registro de Esquema Confluente para dados de buffer de protocolo ou avro. Consulte a documentação sobre avro ou buffers de protocolo.
Suporte ao formato de arquivo XML nativo (Visualização Pública)
O suporte ao formato de arquivo XML nativo está agora em Visualização Pública. O suporte ao formato de arquivo XML permite ingestão, consulta e análise de dados XML para processamento em lotes ou streaming. Ele pode inferir e evoluir automaticamente tipos de esquema e dados, dá suporte a expressões SQL como from_xml e pode gerar documentos XML. Não requer jars externos e funciona perfeitamente com Carregador Automático, read_files, COPY INTO e o Delta Live Tables. Consulte Leitura e gravação de arquivos XML.
Suporte para armazenamento Cloudflare R2 (visualização Pública)
Agora você pode usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Catálogo do Unity. O Cloudflare R2 destina-se principalmente a casos de uso de compartilhamento Delta em que você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 dá suporte a todos os dados do Databricks e ativos de IA com suporte no AWS S3, no Azure Data Lake Storage Gen2 e no Google Cloud Storage. Confira Usar réplicas do Cloudflare R2 ou migrar o armazenamento para R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.
O acesso do Spark e do dbutils aos arquivos de workspace dá suporte em clusters do Catálogo do Unity de acesso compartilhado
Agora há suporte para acesso de leitura e gravação do dbutils e do Spark a arquivos de workspace em clusters do Catálogo do Unity no modo de acesso compartilhado. Confira Trabalhar com arquivos de workspace.
Scripts de inicialização e suporte à biblioteca de clusters em clusters do Catálogo do Unity de acesso compartilhado
A instalação de scripts de inicialização com escopo de cluster e bibliotecas Python e JAR em clusters do Catálogo do Unity no modo de acesso compartilhado, incluindo a instalação usando políticas de cluster, agora está em disponibilidade geral. O Databricks recomenda a instalação de scripts e bibliotecas de inicialização de volumes do Catálogo do Unity.
Atualizações da biblioteca
- Bibliotecas do Python atualizadas:
- fastjsonschema de 2.19.0 a 2.19.1
- filelock de 3.12.4 a 3.13.1
- googleapis-common-protos de 1.61.0 a 1.62.0
- empacotamento de 22.0 a 23.2
- Bibliotecas do R atualizadas:
- externa de 0.8-82 a 0.8-85
- nlme de 3.1-162 a 3.1-163
- rpart de 4.1.19 a 4.1.21
- Bibliotecas do Java atualizadas:
- com.databricks.databricks-sdk-java de 0.7.0 a 0.13.0
- org.apache.orc.orc-core de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.9.1-shaded-protobuf a 1.9.2-shaded-protobuf
- org.apache.orc.orc-shims a 1.9.1 a 1.9.2
- org.scala-lang.modules.scala-collection-compat_2.12 de 2.9.0 a 2.11.0
Apache Spark
O Databricks Runtime 14.3 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.2 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-46541] [SC-153546][SQL][CONNECT] Corrige a referência de coluna ambígua na junção automática
- [SPARK-45433] Reverte "[SC-145163][SQL] Corrige a inferência do esquema CSV/JSON
- [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Possibilita novas tentativas do addArtifact
- [SPARK-46660] [SC-153391][CONNECT] ReattachExecute solicita atualizações de vivacidade de SessionHolder
- [SPARK-46670] [SC-153273][PYTHON][SQL] Possibilita a clonagem automática do DataSourceManager separando fontes de dados do Python estáticas e de runtime
- [SPARK-46720] [SC-153410][SQL][PYTHON] Refatora a Fonte de Dados do Python para se alinhar com outras Fontes de Dados DSv2 internas
- [SPARK-46684] [SC-153275][PYTHON][CONNECT] Corrige CoGroup.applyInPandas/Arrow para passar argumentos corretamente
- [SPARK-46667] [SC-153271][SC-153263][SQL] XML: gera erro em várias fontes de dados XML
- [SPARK-46382] [SC-151881][SQL]XML: Define o padrão de ignoreSurroundingSpaces como true
- [SPARK-46382] [SC-153178][SQL] XML: atualiza documento de
ignoreSurroundingSpaces - [SPARK-45292] Reverte “[SC-151609][SQL][HIVE] Remove o Guava das classes compartilhadas do IsolatedClientLoader”
- [SPARK-45292] [SC-151609][SQL][HIVE] Remove o Guava das classes compartilhadas do IsolatedClientLoader
- [SPARK-46311] [SC-150137][CORE] Registra o estado final dos drivers durante
Master.removeDriver - [SPARK-46413] [SC-151052][PYTHON] Valida returnType do UDF do Python para Arrow
- [SPARK-46633] [WARMFIX][SC-153092][SQL] Corrige o leitor do Avro para manipular blocos de comprimento zero
- [SPARK-46537] [SC-151286][SQL] Converte o NPE e declarações de comando em erros internos
- [SPARK-46179] [SC-151678][SQL] Adiciona CrossDbmsQueryTestSuites, que executa outros gerenciadores de banco de dados em arquivos finais com outros gerenciadores de banco de dados, começando com o Postgres
- [SPARK-44001] [SC-151413][PROTOBUF] Adiciona opção para permitir desencapsular tipos de wrapper conhecidos do protobuf
- [SPARK-40876] [SC-151786][SQL] Amplia a promoção de tipos para decimais com maior escala nos leitores Parquet
- [SPARK-46605] [SC-151769][CONNECT] Faz a função
lit/typedLitno módulo de conexão dar suporte as.c.immutable.ArraySeq - [SPARK-46634] [SC-153005][SQL] validação literal não deve analisar detalhadamente campos nulos
- [SPARK-37039] [SC-153094][PS] Corrige
Series.astypepara funcionar corretamente com o valor ausente - [SPARK-46312] [SC-150163][CORE] Usa
lower_camel_caseemstore_types.proto - [SPARK-46630] [SC-153084][SQL] XML: valida o nome do elemento XML na gravação
- [SPARK-46627] [SC-152981][SS][UI] Corrige o conteúdo da dica de ferramenta da linha do tempo na interface do usuário do streaming
- [SPARK-46248] [SC-151774][SQL] XML: suporte para opções ignoreCorruptFiles e ignoreMissingFiles
- [SPARK-46386] [SC-150766][PYTHON] Aprimora as declarações de observação (pyspark.sql.observation)
- [SPARK-46581] [SC-151789][CORE] Atualiza o comentário de isZero no AccumulatorV2
- [SPARK-46601] [SC-151785] [CORE] Corrige erro de log no handleStatusMessage
- [SPARK-46568] [SC-151685][PYTHON] Torna as opções de fonte de dados do Python um dicionário que não diferencia maiúsculas de minúsculas
- [SPARK-46611] [SC-151783][CORE] Remove ThreadLocal substituindo SimpleDateFormat por DateTimeFormatter
- [SPARK-46604] [SC-151768][SQL] Faz o
Literal.applydar suporte as.c.immuable.ArraySeq - [SPARK-46324] [SC-150223][SQL][PYTHON] Corrige o nome de saída de pyspark.sql.functions.user e session_user
- [SPARK-46621] [SC-151794][PYTHON] Exceção capturada de endereço nulo de Exception.getMessage em Py4J
- [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader deve respeitar o modo de memória ao criar vetores de coluna para a coluna ausente
- [SPARK-46613] [SC-151778][SQL][PYTHON] Registra a exceção completa quando não foi possível pesquisar fontes de dados do Python
- [SPARK-46559] [SC-151364][MLLIB] Encapsula
exportno nome do pacote com marcações de código - [SPARK-46522] [SC-151784][PYTHON] Impede o registro da fonte de dados do Python com conflitos de nome
- [SPARK-45580] [SC-149956][SQL] Trata o caso em que uma subconsulta aninhada se torna uma junção de existência
- [SPARK-46609] [SC-151714][SQL] Evita a explosão exponencial em PartitioningPreservingUnaryExecNode
- [SPARK-46535] [SC-151288][SQL] Corrige o NPE quando descreve uma coluna estendida sem col stats
- [SPARK-46599] [SC-147661][SC-151770][SQL] XML: Usa TypeCoercion.findTightestCommonType para verificar a compatibilidade
- [SPARK-40876] [SC-151129][SQL] Amplia promoções de tipo em leitores Parquet
- [SPARK-46179] [SC-151069][SQL] Extrai o código em funções reutilizáveis no SQLQueryTestSuite
- [SPARK-46586] [SC-151679][SQL] Suporta
s.c.immutable.ArraySeqcomocustomCollectionClsemMapObjects - [SPARK-46585] [SC-151622][CORE]
metricPeaksconstruído diretamente como umimmutable.ArraySeqem vez de usarmutable.ArraySeq.toSeqemExecutor - [SPARK-46488] [SC-151173][SQL] Ignora a chamada trimAll durante a análise de carimbo de data/hora
- [SPARK-46231] [SC-149724][PYTHON] Migra todos os
NotImplementedErroreTypeErrorrestantes para a estrutura de erros do PySpark - [SPARK-46348] [SC-150281][CORE] Suporta
spark.deploy.recoveryTimeout - [SPARK-46313] [SC-150164][CORE] Registra a duração de recuperação do
Spark HA - [SPARK-46358] [SC-150307][CONNECT] Simplifica a verificação de condição no
ResponseValidator#verifyResponse - [SPARK-46380] [SC-151078][SQL] Substitui a hora/data atual antes de avaliar expressões de tabela em linha.
- [SPARK-46563] [SC-151441][SQL] Exibir simpleString não segue conf spark.sql.debug.maxToStringFields
- [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Reduz a profundidade da pilha substituindo (string|array).size por (string|array).length
- [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT (todos os campos de um struct) resulta em uma falha de declaração
- [SPARK-46565] [SC-151414][PYTHON] Refina classes de erro e mensagens de erro de fontes de dados do Python
- [SPARK-46576] [SC-151614][SQL] Melhora as mensagens de erro para o modo de salvamento da fonte de dados sem suporte
- [SPARK-46540] [SC-151355][PYTHON] Respeita os nomes das colunas quando a função de leitura da fonte de dados do Python produz chamadas objetos de Linha
- [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite vaza SessionState do Hive
- [SPARK-44556] [SC-151562][SQL] Reutiliza
OrcTailao habilitar vectorizedReader - [SPARK-46587] [SC-151618][SQL] XML: corrige a conversão de inteiros grandes do XSD
- [SPARK-46382] [SC-151297][SQL] XML: captura valores intercalados entre elementos
- [SPARK-46567] [SC-151447][CORE] Remove ThreadLocal de ReadAheadInputStream
- [SPARK-45917] [SC-151269][PYTHON][SQL] Registro automático da Fonte de Dados do Python na inicialização
- [SPARK-28386] [SC-151014][SQL] Não é possível resolver colunas ORDER BY com GROUP BY e HAVING
- [SPARK-46524] [SC-151446][SQL] Aprimora mensagens de erro para modo de salvamento inválido
- [SPARK-46294] [SC-150672][SQL] Limpa a semântica de inicialização versus valor zero
- [SPARK-46301] [SC-150100][CORE] Suporta
spark.worker.(initial|max)RegistrationRetries - [SPARK-46542] [SC-151324][SQL] Remove a verificação de
c>=0doExternalCatalogUtils#needsEscapingcomo sempre é verdadeira - [SPARK-46553] [SC-151360][PS]
FutureWarningparainterpolatecom o tipo de objeto - [SPARK-45914] [SC-151312][PYTHON] Suporta a API de confirmação e anulação para gravação da fonte de dados do Python
- [SPARK-46543] [SC-151350][PYTHON][CONNECT] Faz
json_tuplelançar PySparkValueError para campos vazios - [SPARK-46520] [SC-151227][PYTHON] Suporta o modo de substituição para gravação da fonte de dados do Python
- [SPARK-46502] [SC-151235][SQL] Suporta os tipos de carimbo de data/hora em UnwrapCastInBinaryComparison
- [SPARK-46532] [SC-151279][CONNECT] Passa parâmetros de mensagem em metadados de
ErrorInfo - [SPARK-46397] Reverte “[SC-151311][PYTHON][CONNECT] O
sha2de função deve gerarPySparkValueErrorparanumBitsinválido” - [SPARK-46170] [SC-149472][SQL] Suporta regras de estratégia de pós-planejador de consulta adaptável injetáveis em SparkSessionExtensions
- [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable não deve carregar a tabela
- [SPARK-46397] [SC-151311][PYTHON][CONNECT] O
sha2de função deve gerarPySparkValueErrorparanumBitsinválido - [SPARK-46145] [SC-149471][SQL] O spark.catalog.listTables não gera exceção quando a tabela ou exibição não é encontrada
- [SPARK-46272] [SC-151012][SQL] Suporta CTAS usando fontes DSv2
- [SPARK-46480] [SC-151127][CORE][SQL] Corrige o NPE quando houver tentativa de tarefa de cache de tabela
- [SPARK-46100] [SC-149051][CORE][PYTHON] Reduz a profundidade da pilha substituindo (string|array).size por (string|array).length
- [SPARK-45795] [SC-150764][SQL] O DS V2 dá suporte para o Modo de pressionar
- [SPARK-46485] [SC-151133][SQL] V1Write não deve adicionar Sort quando não for necessário
- [SPARK-46468] [SC-151121] [SQL] Manipular bug COUNT para subconsultas EXISTS com Agregação sem chaves de agrupamento
- [SPARK-46246] [SC-150927][SQL] Suporte do SQL para EXECUTE IMMEDIATE
- [SPARK-46498] [SC-151199][CORE] Remove
shuffleServiceEnableddeo.a.spark.util.Utils#getConfiguredLocalDirs - [SPARK-46440] [SC-150807][SQL] Define as configurações de trocar base para o modo
CORRECTEDpor padrão - [SPARK-45525] [SC-151120][SQL][PYTHON] Suporta a gravação da fonte de dados do Python usando DSv2
- [SPARK-46505] [SC-151187][CONNECT] Torna o limite de bytes configurável em
ProtoUtils.abbreviate - [SPARK-46447] [SC-151025][SQL] Remove as configurações do SQL de troca de base do datetime herdado
- [SPARK-46443] [SC-151123][SQL] A precisão e a escala decimais devem ser decididas pelo dialeto H2.
- [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Corrige o gráfico da pilha de duração da operação na página de streaming estruturado
- [SPARK-46207] [SC-151068][SQL] Suporta o MergeInto no DataFrameWriterV2
- [SPARK-46452] [SC-151018][SQL] Adiciona uma nova API no DataWriter para gravar um iterador de registros
- [SPARK-46273] [SC-150313][SQL] Suporta INSERT INTO/OVERWRITE usando fontes DSv2
- [SPARK-46344] [SC-150267][CORE] Avisa corretamente quando um driver existir com êxito, mas o mestre está desconectado
- [SPARK-46284] [SC-149944][PYTHON][CONNECT] Adiciona a função
session_userao Python - [SPARK-46043] [SC-149786][SQL] Suporta a criação de tabelas usando fontes DSv2
- [SPARK-46323] [SC-150191][PYTHON] Corrige o nome de saída de pyspark.sql.functions.now
- [SPARK-46465] [SC-151059][PYTHON][CONNECT] Adiciona
Column.isNaNno PySpark - [SPARK-46456] [SC-151050][CORE] Adiciona
spark.ui.jettyStopTimeoutpara definir o tempo limite de parada do servidor Jetty para desbloquear o desligamento do SparkContext - [SPARK-43427] [SC-150356][PROTOBUF] protobuf do Spark: permite tipos inteiros sem sinal de upcasting
- [SPARK-46399] [SC-151013][14.x][Core] Adiciona status de saída ao evento Application End para usar o Ouvinte do Spark
- [SPARK-46423] [SC-150752][PYTHON][SQL] Torna a instância da Fonte de Dados do Python em DataSource.lookupDataSourceV2
- [SPARK-46424] [SC-150765][PYTHON][SQL] Suporta métricas do Python na Fonte de Dados Python
- [SPARK-46330] [SC-151015] Carregamento de blocos de interface do usuário do Spark por um longo tempo quando HybridStore estiver habilitado
- [SPARK-46378] [SC-150397][SQL] Ainda remove a Classificação após converter Agregação em Projeto
- [SPARK-45506] [SC-146959][CONNECT] Adiciona suporte ao URI ivy do SparkConnect addArtifact
- [SPARK-45814] [SC-147871][CONNECT][SQL] Faz com que ArrowConverters.createEmptyArrowBatch chame close() para evitar perda de memória
- [SPARK-46427] [SC-150759][PYTHON][SQL] Altera a descrição da Fonte de Dados do Python para melhorar a explicação
- [SPARK-45597] [SC-150730][PYTHON][SQL] Suporta a criação de tabela usando uma fonte de dados do Python no SQL (DSv2 exec)
- [SPARK-46402] [SC-150700][PYTHON] Adiciona suporte a getMessageParameters e getQueryContext
- [SPARK-46453] [SC-150897][CONNECT] Gera exceção de
internalError()emSessionHolder - [SPARK-45758] [SC-147454][SQL] Introduz um mapeador para codecs de compactação hadoop
- [SPARK-46213] [PYTHON] Introduz
PySparkImportErrorpara estrutura de erro - [SPARK-46230] [SC-149960][PYTHON] Migra
RetriesExceededpara o erro do PySpark - [SPARK-45035] [SC-145887][SQL] Corrige ignoreCorruptFiles/ignoreMissingFiles com CSV/JSON multilinha para relatar erro
- [SPARK-46289] [SC-150846][SQL] Suporta a ordenação de UDTs no modo interpretado
- [SPARK-46229] [SC-150798][PYTHON][CONNECT] Adiciona applyInArrow ao groupBy e coagrupa no Spark Connect
- [SPARK-46420] [SC-150847][SQL] Remove transporte não utilizado no SparkSQLCLIDriver
- [SPARK-46226] [PYTHON] Migra todo o
RuntimeErrorrestante para a estrutura de erros do PySpark - [SPARK-45796] [SC-150613][SQL] Supporta MODE() WITHIN GROUP (ORDER BY col)
- [SPARK-40559] [SC-149686][PYTHON][14.X] Adiciona applyInArrow ao groupBy e coagrupa
- [SPARK-46069] [SC-149672][SQL] Suporta o desencapsulamento do tipo de carimbo de data/hora para o tipo de data
- [SPARK-46406] [SC-150770][SQL] Atribui um nome à classe de erro _LEGACY_ERROR_TEMP_1023
- [SPARK-46431] [SC-150782][SS] Converte
IllegalStateExceptioneminternalErrorem iteradores de sessão - [SPARK-45807] [SC-150751][SQL] Melhora a API de ViewCatalog
- [SPARK-46009] [SC-149771][SQL][CONNECT] Mescla a regra de análise de PercentileCont e PercentileDisc em functionCall
- [SPARK-46403] [SC-150756][SQL] Decodifica binário parquet com método getBytesUnsafe
- [SPARK-46389] [SC-150779][CORE] Fecha manualmente a instância de
RocksDB/LevelDBquandocheckVersionlançar Exceção - [SPARK-46360] [SC-150376][PYTHON] Aprimora a depuração de mensagens de erro com a nova API de
getMessage - [SPARK-46233] [SC-149766][PYTHON] Migra todo o
AttributeErrorrestante para a estrutura de erros do PySpark - [SPARK-46394] [SC-150599][SQL] Corrige problemas do spark.catalog.listDatabases() em esquemas com caracteres especiais quando
spark.sql.legacy.keepCommandOutputSchemaestá definido como true - [SPARK-45964] [SC-148484][SQL] Remover o acessador sql privado no pacote XML e JSON no pacote do catalyst
- [SPARK-45856] [SC-148691] Move o ArtifactManager do Spark Connect para SparkSession (sql/core)
- [SPARK-46409] [SC-150714][CONNECT] Corrige o script de lançamento spark-connect-scala-client
- [SPARK-46416] [SC-150699][CORE] Adiciona
@tailrecaHadoopFSUtils#shouldFilterOutPath - [SPARK-46115] [SC-149154][SQL] Restringe conjuntos de caracteres em
encode() - [SPARK-46253] [SC-150416][PYTHON] Planeja a leitura da fonte de dados do Python usando o MapInArrow
- [SPARK-46339] [SC-150266][SS] O diretório com o nome do número do lote não deve ser tratado como log de metadados
- [SPARK-46353] [SC-150396][CORE] Refatorar para melhorar a cobertura do teste de unidade
RegisterWorker - [SPARK-45826] [SC-149061][SQL] Adiciona uma configuração SQL para rastreamentos de pilha no contexto de consulta DataFrame
- [SPARK-45649] [SC-150300][SQL] Unifica a estrutura de preparação para OffsetWindowFunctionFrame
- [SPARK-46346] [SC-150282][CORE] Corrige o Mestre para atualizar um trabalho de
UNKNOWNparaALIVEem msgRegisterWorker - [SPARK-46388] [SC-150496][SQL] HiveAnalysis perde a proteção padrão de
query.resolved - [SPARK-46401] [SC-150609][CORE] Usa
!isEmpty()emRoaringBitmapem vez degetCardinality() > 0emRemoteBlockPushResolver - [SPARK-46393] [SC-150603][SQL] Classificar exceções no catálogo de tabelas do JDBC
- [SPARK-45798] [SC-150513][CONNECT] Acompanhamento: adicionar serverSessionId a SessionHolderInfo
- [SPARK-46153] [SC-146564][SC-150508][SQL] XML: adiciona suporte ao TimestampNTZType
- [SPARK-46075] [SC-150393][CONNECT] melhorias no SparkConnectSessionManager
- [SPARK-46357] [SC-150596] Substitui o uso incorreto da documentação de setConf por conf.set
- [SPARK-46202] [SC-150420][CONNECT] Expõe novas APIs de ArtifactManager para dar suporte a diretórios de destino personalizados
- [SPARK-45824] [SC-147648][SQL] Impõe a classe de erro em
ParseException - [SPARK-45845] [SC-148163][SS][UI] Adiciona um número de linhas de estado removidas à interface do usuário de streaming
- [SPARK-46316] [SC-150181][CORE] Habilita
buf-lint-actionno módulocore - [SPARK-45816] [SC-147656][SQL] Retorna
NULLao estourar durante a conversão do carimbo de data/hora para números inteiros - [SPARK-46333] [SC-150263][SQL] Substitui
IllegalStateExceptionporSparkException.internalErrorno catalyst - [SPARK-45762] [SC-148486][CORE] Suporta gerenciadores de ordem aleatória definidos em jars de usuário alterando a ordem de inicialização
- [SPARK-46239] [SC-149752][CORE] Oculta informações de
Jetty - [SPARK-45886] [SC-148089][SQL] Rastreamento de pilha completa de saída em
callSitedo contexto do DataFrame - [SPARK-46290] [SC-150059][PYTHON] Altera saveMode para um sinalizador booliano para DataSourceWriter
- [SPARK-45899] [SC-148097][CONNECT] Define errorClass em errorInfoToThrowable
- [SPARK-45841] [SC-147657][SQL] Expõe rastreamento de pilha por
DataFrameQueryContext - [SPARK-45843] [SC-147721][CORE] Suporta
killallna API REST de Envio - [SPARK-46234] [SC-149711][PYTHON] Introduz
PySparkKeyErrorpara a estrutura de erro do PySpark - [SPARK-45606] [SC-147655][SQL] Restrições de versão no filtro de runtime de várias camadas
- [SPARK-45725] [SC-147006][SQL] Remove o filtro de runtime de subconsulta IN não padrão
- [SPARK-45694] [SC-147314][SPARK-45695][SQL] Limpa o uso de
View.forceeScalaNumberProxy.signumda API preterida - [SPARK-45805] [SC-147488][SQL] Torna
withOriginmais genérico - [SPARK-46292] [SC-150086][CORE][UI] Mostra um resumo dos trabalhos no MasterPage
- [SPARK-45685] [SC-146881][CORE][SQL] Usa
LazyListem vez deStream - [SPARK-45888] [SC-149945][SS] Aplica estrutura de classe de erro à Fonte de Dados (metadados) de Estado
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenameddeve manter a ordenação de dicionário/mapa - [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] Limpa as conversões
SeqOps.vieweArrayOps.view - [SPARK-46029] [SC-149255][SQL] Escape de aspas simples,
_e%para pressionar o DS V2 - [SPARK-46275] [SC-150189] Protobuf: Retorna nulo no modo permissivo quando a desserialização falhar.
- [SPARK-46320] [SC-150187][CORE] Suporta
spark.master.rest.host - [SPARK-46092] [SC-149658][SQL] Não pressione filtros de grupo de linha Parquet que estouram
- [SPARK-46300] [SC-150097][PYTHON][CONNECT] Corresponder a comportamentos secundários na coluna com cobertura de teste completa
- [SPARK-46298] [SC-150092][PYTHON][CONNECT] Corresponde aviso de substituição, caso de teste e erro de Catalog.createExternalTable
- [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Limpa o uso relacionado a
StringContext/StringOps/RightProjection/LeftProjection/Eithere uso do tipo deBufferedIterator/CanBuildFrom/Traversableda API preterida - [SPARK-33393] [SC-148407][SQL] Suporta SHOW TABLE EXTENDED na v2
- [SPARK-45737] [SC-147011][SQL] Remove
.toArray[InternalRow]inútil emSparkPlan#executeTake - [SPARK-46249] [SC-149797][SS] Exige bloqueio de instância para adquirir métricas do RocksDB, a fim de evitar conflitos com operações em segundo plano
- [SPARK-46260] [SC-149940][PYTHON][SQL]
DataFrame.withColumnsRenameddeve respeitar a ordem do dicionário - [SPARK-46274] [SC-150043] [SQL] Corrige o operador de intervalo computeStats() para verificar a validade longa anes da conversão
- [SPARK-46040] [SC-149767][SQL][Python] Atualiza a API do UDTF para ‘analisar’ colunas de particionamento/ordenação para dar suporte a expressões gerais
- [SPARK-46287] [SC-149949][PYTHON][CONNECT]
DataFrame.isEmptydeve funcionar com todos os tipos de dados - [SPARK-45678] [SC-146825][CORE] Cobre BufferReleasingInputStream.available/reset em tryOrFetchFailedException
- [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Limpa o uso relacionado a
IterableOnceExtensionMethodsda API preterida. - [SPARK-43980] [SC-148992][SQL] apresentando a sintaxe
select * except - [SPARK-46269] [SC-149816][PS] Habilita mais testes de função de compatibilidade numPy
- [SPARK-45807] [SC-149851][SQL] Adiciona createOrReplaceView(..) / replaceView(..) ao ViewCatalog
- [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Introduz uma função implícita para a Matriz do Scala encapsular em
immutable.ArraySeq. - [SPARK-46205] [SC-149655][CORE] Melhorar o desempenho de
PersistenceEnginecomKryoSerializer - [SPARK-45746] [SC-149359][Python] Retorna mensagens de erro específicas se o método ‘analyze’ ou ‘eval’ do UDTF aceitar ou retornar valores incorretos
- [SPARK-46186] [SC-149707][CONNECT] Corrige a transição de estado ilegal quando ExecuteThreadRunner for interrompido antes de começar
- [SPARK-46262] [SC-149803][PS] Habilita o teste de
np.left_shiftpara o objeto Pandas-on-Spark. - [SPARK-45093] [SC-149679][CONNECT][PYTHON] Suporte adequado ao tratamento e à conversão de erros para AddArtifactHandler
- [SPARK-46188] [SC-149571][Doc][3.5] Corrige o CSS das tabelas geradas por documentos do Spark
- [SPARK-45940] [SC-149549][PYTHON] Adiciona InputPartition à interface do DataSourceReader
- [SPARK-43393] [SC-148301][SQL] Bug de estouro da expressão de sequência de endereços.
- [SPARK-46144] [SC-149466][SQL] Falha em INSERT INTO … Instrução REPLACE se a condição contiver subconsulta
- [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Usa
SparkSession.sessionState.confem vez deSQLContext.confe marcaSQLContext.confcomo preterido - [SPARK-45760] [SC-147550][SQL] Adiciona expressão With para evitar a duplicação de expressões
- [SPARK-43228] [SC-149670][SQL] As chaves de junção também correspondem a PartitioningCollection em CoalesceBucketsInJoin
- [SPARK-46223] [SC-149691][PS] Testa SparkPandasNotImplementedError com a limpeza de código não utilizado
- [SPARK-46119] [SC-149205][SQL] Substitui o método
toStringpeloUnresolvedAlias - [SPARK-46206] [SC-149674][PS] Usa uma exceção de escopo mais estreita para o processador SQL
- [SPARK-46191] [SC-149565][CORE] Aprimora a msg de erro
FileSystemPersistenceEngine.persistno caso de arquivo existente - [SPARK-46036] [SC-149356][SQL] Remove a classe de erro da função raise_error
- [SPARK-46055] [SC-149254][SQL] Reescreve a implementação das APIs de Banco de Dados do Catálogo
- [SPARK-46152] [SC-149454][SQL] XML: Adiciona suporte a DecimalType na inferência de esquema XML
- [SPARK-45943] [SC-149452][SQL] Move DetermineTableStats para regras de resolução
- [SPARK-45887] [SC-148994][SQL] Alinha a implementação de codegen e não codegen de
Encode - [SPARK-45022] [SC-147158][SQL] Fornece contexto para erros de API do conjunto de dados
- [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Substitui
toIteratorporiteratorparaIterableOnce - [SPARK-46141] [SC-149357][SQL] Altera o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRECTED
- [SPARK-45663] [SC-146617][CORE][MLLIB] Substitui
IterableOnceOps#aggregateporIterableOnceOps#foldLeft - [SPARK-45660] [SC-146493][SQL] Reutiliza objetos Literais na regra ComputeCurrentTime
- [SPARK-45803] [SC-147489][CORE] Remove o
RpcAbortExceptionque não é mais usado - [SPARK-46148] [SC-149350][PS] Corrige teste de pyspark.pandas.mlflow.load_model (Python 3.12)
- [SPARK-46110] [SC-149090][PYTHON] Usa classes de erro no catálogo, configuração, conexão, observação, módulos pandas
- [SPARK-45827] [SC-149203][SQL] Correções variantes com codegen e leitor vetorizado desabilitados
- [SPARK-46080] Revert “[SC-149012][PYTHON] Atualiza Cloudpickle para 3.0.0”
- [SPARK-45460] [SC-144852][SQL] Substituir
scala.collection.convert.ImplicitConversionsparascala.jdk.CollectionConverters - [SPARK-46073] [SC-149019][SQL] Remove a resolução especial de UnresolvedNamespace para determinados comandos
- [SPARK-45600] [SC-148976][PYTHON] Tornar o nível de sessão do registro da fonte de dados do Python
- [SPARK-46074] [SC-149063][CONNECT][SCALA] Detalhes insuficientes na mensagem de erro sobre falha do UDF
- [SPARK-46114] [SC-149076][PYTHON] Adiciona PySparkIndexError para a estrutura de erros
- [SPARK-46120] [SC-149083][CONNECT][PYTHON] Remover a função
DataFrame.withPlanauxiliar - [SPARK-45927] [SC-148660][PYTHON] Tratamento do caminho de atualização para a fonte de dados do Python
- [SPARK-46062] [14.x][SC-148991][SQL] Sincroniza o sinalizador isStreaming entre a referência e a definição de CTE
- [SPARK-45698] [SC-146736][CORE][SQL][SS] Limpa o uso relacionado a
Bufferda API preterida - [SPARK-46064] [SC-148984][SQL][SS] Move EliminateEventTimeWatermark para o analisador e altera para entrar em vigor apenas no filho resolvido
- [SPARK-45922] [SC-149038][CONNECT][CLIENT] Tentativas secundárias de refatoração (acompanhamento de várias políticas)
- [SPARK-45851] [SC-148419][CONNECT][SCALA] Suporta várias políticas no cliente Scala
- [SPARK-45974] [SC-149062][SQL] Adiciona o julgamento não vazio scan.filterAttributes para RowLevelOperationRuntimeGroupFiltering
- [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets no cliente Scala Spark Connect
- [SPARK-45136] [SC-146607][CONNECT] Aprimora o ClosureCleaner com suporte a Ammonite
- [SPARK-46084] [SC-149020][PS] Refatora operação de conversão do tipo de dados para tipo Categórico.
- [SPARK-46083] [SC-149018][PYTHON] Torna SparkNoSuchElementException como uma API de erro canônico
- [SPARK-46048] [SC-148982][PYTHON][CONNECT] Suporta DataFrame.groupingSets no Python Spark Connect
- [SPARK-46080] [SC-149012][PYTHON] Atualiza o Cloudpickle para 3.0.0
- [SPARK-46082] [SC-149015][PYTHON][CONNECT] Corrige a representação de cadeia de caracteres do protobuf para a API de Funções do Pandas com o Spark Connect
- [SPARK-46065] [SC-148985][PS] Refatora
(DataFrame|Series).factorize()para usarcreate_map. - [SPARK-46070] [SC-148993][SQL] Compila o padrão regex em SparkDateTimeUtils.getZoneId fora do loop frequente
- [SPARK-46063] [SC-148981][PYTHON][CONNECT] Aprimora mensagens de erro relacionadas a tipos de argumento em cute, rollup, groupby e pivot
- [SPARK-44442] [SC-144120][MESOS] Remove o suporte a Mesos
- [SPARK-45555] [SC-147620][PYTHON] Inclui um objeto depurável para declaração com falha
- [SPARK-46048] [SC-148871][PYTHON][SQL] Suporta DataFrame.groupingSets no PySpark
- [SPARK-45768] [SC-147304][SQL][PYTHON] Torna o manipulador de falhas uma configuração de runtime para execução do Python no SQL
- [SPARK-45996] [SC-148586][PYTHON][CONNECT] Mostra mensagens de requisito de dependência adequadas para o Spark Connect
- [SPARK-45681] [SC-146893][UI] Clona uma versão js de UIUtils.errorMessageCell para renderização de erro consistente na interface do usuário
- [SPARK-45767] [SC-147225][CORE] Exclui
TimeStampedHashMape seus UT - [SPARK-45696] [SC-148864][CORE] O método de correção tryCompleteWith em trait Promise foi preterido
- [SPARK-45503] [SC-146338][SS] Adicionar Configuração para definir a Compactação do RocksDB
- [SPARK-45338] [SC-143934][CORE][SQL] Substitui
scala.collection.JavaConvertersparascala.jdk.CollectionConverters - [SPARK-44973] [SC-148804][SQL] Corrige
ArrayIndexOutOfBoundsExceptionemconv() - [SPARK-45912] [SC-144982][SC-148467][SQL] Aprimoramento da API do XSDToSchema: alteração para a API do HDFS para acessibilidade do armazenamento em nuvem
- [SPARK-45819] [SC-147570][CORE] Suporta
clearna API REST de Envio - [SPARK-45552] [14.x][SC-146874][PS] Introduz o parâmetros flexíveis para
assertDataFrameEqual - [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Fornece uma interface para outras fontes de streaming adicionarem colunas
_metadata - [SPARK-45929] [SC-148692][SQL] Suporta a operação groupingSets na API do dataframe
- [SPARK-46012] [SC-148693][CORE] O EventLogFileReader não deve ler logs sem interrupção se o arquivo de status do aplicativo estiver ausente
- [SPARK-45965] [SC-148575][SQL] Move expressões de particionamento do DSv2 para functions.partitioning
- [SPARK-45971] [SC-148541][CORE][SQL] Corrige o nome do pacote de
SparkCollectionUtilsparaorg.apache.spark.util - [SPARK-45688] [SC-147356][SPARK-45693][CORE] Limpa o uso da API preterida relacionado a
MapOpse corrigemethod += in trait Growable is deprecated - [SPARK-45962] [SC-144645][SC-148497][SQL] Remove
treatEmptyValuesAsNullse usa a opçãonullValueno lugar em XML - [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Corrige typehints para lidar com
listGenericAlias no Python 3.11+ - [SPARK-45999] [SC-148595][PS] Usa
PandasProductdedicado emcumprod - [SPARK-45986] [SC-148583][ML][PYTHON] Corrige
pyspark.ml.torch.tests.test_distributorno Python 3.11 - [SPARK-45994] [SC-148581][PYTHON] Altera
description-fileparadescription_file - [SPARK-45575] [SC-146713][SQL] Suporta opções de viagem no tempo para a API de leitura df
- [SPARK-45747] [SC-148404][SS] Usa informações de chave de prefixo em metadados de estado para lidar com o estado de leitura para agregação de janela de sessão
- [SPARK-45898] [SC-148213][SQL] Reescreve APIs de tabela do catálogo para usar plano lógico não resolvido
- [SPARK-45828] [SC-147663][SQL] Remove o método preterido em dsl
- [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Atualiza
protobufpara 4.25.1 para dar suporte aPython 3.11 - [SPARK-45911] [SC-148226][CORE] Torna o TLS1.3 o padrão para RPC SSL
- [SPARK-45955] [SC-148429][UI] Recolhe o suporte para detalhes de despejo do Flamegraph e de thread
- [SPARK-45936] [SC-148392][PS] Otimiza
Index.symmetric_difference - [SPARK-45389] [SC-144834][SQL][3.5] Regra de correspondência correta de MetaException na obtenção de metadados de partição
- [SPARK-45655] [SC-148085][SQL][SS] Permite expressões não determinísticas dentro de AggregateFunctions em CollectMetrics
- [SPARK-45946] [SC-148448][SS] Corrige o uso de gravação de FileUtils preterida para passar o conjunto de caracteres padrão no RocksDBSuite
- [SPARK-45511] [SC-148285][SS] Fonte de dados de estado – Leitor
- [SPARK-45918] [SC-148293][PS] Otimiza
MultiIndex.symmetric_difference - [SPARK-45813] [SC-148288][CONNECT][PYTHON] Retorna as métricas observadas dos comandos
- [SPARK-45867] [SC-147916][CORE] Suporta
spark.worker.idPattern - [SPARK-45945] [SC-148418][CONNECT] Adiciona a função auxiliar para
parser - [SPARK-45930] [SC-148399][SQL] Suporta UDFs não determinísticas em MapInPandas/MapInArrow
- [SPARK-45810] [SC-148356][Python] Cria a API do UDTF do Python para parar de consumir linhas da tabela de entrada
- [SPARK-45731] [SC-147929][SQL] Atualiza também as estatísticas de partição com o comando
ANALYZE TABLE - [SPARK-45868] [SC-148355][CONNECT] Garante que
spark.tableuse o mesmo analisador com vanilla spark - [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec que propaga o particionamento deve respeitar CoalescedHashPartitioning
- [SPARK-45710] [SC-147428][SQL] Atribui nomes ao erro _LEGACY_ERROR_TEMP_21[59,60,61,62]
- [SPARK-45915] [SC-148306][SQL] Trata decimal(x, 0) da mesma forma que IntegralType em
PromoteStrings - [SPARK-45786] [SC-147552][SQL] Corrige resultados imprecisos de divisão e multiplicação decimal
- [SPARK-45871] [SC-148084][CONNECT] Conversão da coleção de otimizações relacionada a
.toBuffernos módulosconnect - [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager pode procurar um sparkcontext interrompido
- [SPARK-45913] [SC-148289][PYTHON] Torna os atributos internos privados de erros do PySpark.
- [SPARK-45827] [SC-148201][SQL] Adiciona o tipo de dados Variante no Spark.
- [SPARK-44886] [SC-147876][SQL] Introduz a cláusula CLUSTER BY para CREATE/REPLACE TABLE
- [SPARK-45756] [SC-147959][CORE] Suporta
spark.master.useAppNameAsAppId.enabled - [SPARK-45798] [SC-147956][CONNECT] Declara a ID da sessão do lado do servidor
- [SPARK-45896] [SC-148091][SQL] Constructo
ValidateExternalTypecom o tipo esperado correto - [SPARK-45902] [SC-148123][SQL] Remove a função
resolvePartitionColumnsnão utilizada deDataSource - [SPARK-45909] [SC-148137][SQL] Remove a conversão
NumericTypese puder converter com segurança emIsNotNull - [SPARK-42821] [SC-147715][SQL] Remove parâmetros não utilizados em métodos splitFiles
- [SPARK-45875] [SC-148088][CORE] Remove
MissingStageTableRowDatado módulocore - [SPARK-45783] [SC-148120][PYTHON][CONNECT] Melhora as mensagens de erro quando o modo Spark Connect estiver habilitado, mas o URL remoto não está definido
- [SPARK-45804] [SC-147529][UI] Adiciona a configuração spark.ui.threadDump.flamegraphEnabled para ativar/desativar o flame graph
- [SPARK-45664] [SC-146878][SQL] Introduz um mapeador para codecs de compactação orc
- [SPARK-45481] [SC-146715][SQL] Introduz um mapeador para codecs de compactação parquet
- [SPARK-45752] [SC-148005][SQL] Simplifica o código para verificar as relações de CTE não referenciadas
- [SPARK-44752] [SC-146262][SQL] XML: atualiza documentos do Spark
- [SPARK-45752] [SC-147869][SQL] CTE não referenciado deve ser verificado pelo CheckAnalysis0
- [SPARK-45842] [SC-147853][SQL] Refatora APIs de Função de Catálogo para usar o analisador
- [SPARK-45639] [SC-147676][SQL][PYTHON] Suporta o carregamento de fontes de dados do Python no DataFrameReader
- [SPARK-45592] [SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec
- [SPARK-45794] [SC-147646][SS] Introduz a fonte de metadados de estado para consultar as informações de metadados do estado de streaming
- [SPARK-45739] [SC-147059][PYTHON] Captura IOException em vez de somente EOFException para faulthandler
- [SPARK-45677] [SC-146700] Melhor registro em log de erros para a API de Observação
- [SPARK-45544] [SC-146873][CORE] Integra o suporte do SSL ao TransportContext
- [SPARK-45654] [SC-147152][PYTHON] Adiciona a API de gravação da fonte de dados do Python
- [SPARK-45771] [SC-147270][CORE] Habilita
spark.eventLog.rolling.enabledpor padrão - [SPARK-45713] [SC-146986][PYTHON] Suporta o registro de fontes de dados do Python
- [SPARK-45656] [SC-146488][SQL] Corrige a observação quando observações nomeadas com o mesmo nome em conjuntos de dados diferentes
- [SPARK-45808] [SC-147571][CONNECT][PYTHON] Melhora o tratamento de erros para exceções de SQL
- [SPARK-45774] [SC-147353][CORE][UI] Suporta
spark.master.ui.historyServerUrlemApplicationPage - [SPARK-45776] [SC-147327][CORE] Remove a verificação de nulo defensiva para
MapOutputTrackerMaster#unregisterShuffleadicionado no SPARK-39553 - [SPARK-45780] [SC-147410][CONNECT] Propaga todos os threadlocals de cliente do Spark Connect em InheritableThread
- [SPARK-45785] [SC-147419][CORE] Suporta
spark.deploy.appNumberModulopara girar o número do aplicativo - [SPARK-45793] [SC-147456][CORE] Aprimora os codecs de compactação internos
- [SPARK-45757] [SC-147282][ML] Evite a recomputação de NNZ no Binarizador
- [SPARK-45209] [SC-146490][CORE][UI] Suporta o Flame Graph para a página de despejo de thread do executor
- [SPARK-45777] [SC-147319][CORE] Suporta
spark.test.appIdemLocalSchedulerBackend - [SPARK-45523] [SC-146331][PYTHON] Refatora a verificação de nulo para ter atalhos
- [SPARK-45711] [SC-146854][SQL] Introduz um mapeador para codecs de compactação avro
- [SPARK-45523] [SC-146077][Python] Retorna mensagem de erro útil se o UDTF retornar a coluna Nenhum para qualquer coluna não anulável
- [SPARK-45614] [SC-146729][SQL] Atribui nomes ao erro _LEGACY_ERROR_TEMP_215[6,7,8]
- [SPARK-45755] [SC-147164][SQL] Aprimora
Dataset.isEmpty()aplicando o limite global1 - [SPARK-45569] [SC-145915][SQL] Atribui nome ao erro _LEGACY_ERROR_TEMP_2153
- [SPARK-45749] [SC-147153][CORE][WEBUI] Corrige
Spark History Serverpara classificar a colunaDurationcorretamente - [SPARK-45754] [SC-147169][CORE] Suporta
spark.deploy.appIdPattern - [SPARK-45707] [SC-146880][SQL] Simplifica
DataFrameStatFunctions.countMinSketchcomCountMinSketchAgg - [SPARK-45753] [SC-147167][CORE] Suporta
spark.deploy.driverIdPattern - [SPARK-45763] [SC-147177][CORE][UI] Aprimora
MasterPagepara mostrar a colunaResourcesomente quando existir - [SPARK-45112] [SC-143259][SQL] Usa a resolução baseada em UnresolvedFunction em funções SQL Dataset
Suporte ao driver ODBC/JDBC do Databricks
O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).
Atualizações de manutenção
Consulte as atualizações de manutenção do Azure Databricks Runtime 14.3.
Ambiente do sistema
- Sistema operacional: Ubuntu 22.04.3 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.1.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | clique | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | criptografia | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0,11 | entrypoints | 0,4 |
| em execução | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | googleapis-common-protos | 1.62.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| notebook | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | empacotando | 23,2 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.5 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| solicitações | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| six | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0,1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 02/10/2023.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| seta | 12.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | sinal de interpolação | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | credenciais | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | conjuntos de dados | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | diagrama | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0,21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-85 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | genéricos | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| elemento gráfico | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0,10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1,7 |
| MASS | 7.3-60 | Matriz | 1.5-4.1 | memoise | 2.0.1 |
| métodos | 4.3.1 | mgcv | 1.8-42 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0,45 |
| tools | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| zip | 2.3.0 |
Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)
| ID do Grupo | Artifact ID | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.13.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,25 |
| io.delta | delta-sharing-client_2.12 | 1.0.3 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | coletor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1,3 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,40 |
| org.glassfish.jersey.core | jersey-client | 2,40 |
| org.glassfish.jersey.core | jersey-common | 2,40 |
| org.glassfish.jersey.core | jersey-server | 2,40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2,0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |