Tempo de execução do Databricks 16.1 (EoS)

Note

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.1, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em dezembro de 2024.

Mudanças comportamentais

Mudança crítica: A manipulação de expressões regulares do Photon agora é consistente com o Apache Spark

No Databricks Runtime 15.4 e superior, a manipulação de expressões regulares no Photon é atualizada para corresponder ao comportamento do tratamento de expressões regulares do Apache Spark. Anteriormente, as funções de expressão regular executadas pelo Photon, como split() e regexp_extract(), aceitavam algumas expressões regulares rejeitadas pelo analisador Spark. Para manter a consistência com o Apache Spark, as consultas Photon agora falharão para expressões regulares que o Spark considera não válidas.

Devido a essa alteração, você poderá ver erros se o código do Spark incluir expressões regulares inválidas. Por exemplo, a expressão split(str_col, '{'), que contém uma chave não correspondente e foi anteriormente aceita por Photon, agora não funciona. Para corrigir essa expressão, você pode escapar do caractere de chave: split(str_col, '\\{').

O comportamento de Photon e Spark também diferiu na correspondência de expressões regulares de caracteres não-ASCII. Isso também é atualizado para que o Photon corresponda ao comportamento do Apache Spark.

O tipo de dados VARIANT não pode mais ser usado com operações que exigem comparações

No Databricks Runtime 16.1 e superior, você não pode usar as seguintes cláusulas ou operadores em consultas que incluem um tipo de dados VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Além disso, você não pode usar essas funções de DataFrame:

• df.dropDuplicates()
• df.repartition()

Essas operações executam comparações e comparações que usam o tipo de dados VARIANT produzem resultados indefinidos e não são suportadas no Databricks. Se você usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Azure Databricks, o Databricks recomenda as seguintes alterações:

• Atualize consultas ou expressões para converter explicitamente valores de VARIANT para tipos de dados diferentes deVARIANT.
• Se você tiver campos que devem ser usados com qualquer uma das operações acima, extraia esses campos do tipo de dados VARIANT e armazene-os usando tipos de dados nãoVARIANT.

Para saber mais, consulte Consultar dados de variante.

Novos recursos e melhorias

• Atualização do conector do BigQuery
• Suporte para agrupamentos no Apache Spark está em Public Preview
• Suporte para intercalações no Delta Lake está em Pré-visualização Pública
• LITE o modo para vácuo está em Pré-visualização Pública
• Suporte para parametrização da cláusula USE CATALOG with IDENTIFIER
• COMMENT ON COLUMN suporte para tabelas e visualizações
• Novas funções SQL
• Invocação de parâmetro nomeado para mais funções
• O parâmetro SYNC METADATA para o comando REPAIR TABLE é suportado pelo metastore do Hive
• Integridade de dados aprimorada para lotes de Apache Arrow compactados
• Suporte adicionado para métodos Scala no modo de acesso padrão de computação do Unity Catalog (anteriormente chamado modo de acesso partilhado)
• Driver Teradata JDBC integrado
• Suporte para StreamingQueryListener em Scala
• Driver Oracle JDBC integrado
• Erros mais detalhados para tabelas Delta acessadas através de caminhos

Atualização do conector do BigQuery

• O conector do Google BigQuery foi atualizado para usar a versão 0.41.0 do conector Spark-BigQuery de código aberto.

• O conector do Google BigQuery para Lakehouse Federation agora usa a API de armazenamento do BigQuery em vez do driver JDBC. Essa migração resolve problemas de desempenho com o driver JDBC e é baseada no conector de Spark-BigQuery de código aberto.

  Com essa alteração, os resultados de consulta intermediários para exibições do BigQuery e tabelas externas devem ser gravados em tabelas temporárias. Esses objetos não são armazenados diretamente no armazenamento do BigQuery. As tabelas temporárias serão armazenadas em seu projeto de faturamento do BigQuery. Verifique se as permissões apropriadas estão definidas em suas contas de serviço do BigQuery. Para obter detalhes, consulte Executar consultas federadas no Google BigQuery.

O suporte para agrupamentos no Apache Spark está em visualização pública

Agora você pode definir agrupamentos sensíveis ao idioma, insensíveis a maiúsculas e minúsculas, e insensíveis a acesso para colunas e expressões STRING. Esses agrupamentos são usados em comparações de cadeia de caracteres, classificação, operações de agrupamento e muitas funções de cadeia de caracteres. Consulte Classificação.

O suporte para agrupamentos no Delta Lake está em pré-visualização pública

Agora você pode definir agrupamentos para colunas ao criar ou alterar uma tabela Delta. Consulte Suporte de agrupamento para Delta Lake.

Modo LITE para vácuo está em Pré-visualização Pública

Agora você pode usar VACUUM table_name LITE para executar uma operação de vácuo mais leve que aproveita os metadados no log de transações Delta. Veja modo completo vs. modo leve e VACUUM.

Suporte para parametrização da cláusula USE CATALOG with IDENTIFIER

Nas versões Databricks Runtime 16.1 e superiores, a cláusula IDENTIFIER é suportada para a instrução USE CATALOG. Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.

COMMENT ON COLUMN suporte para tabelas e vistas

No Databricks Runtime 16.1 e superior, a instrução COMMENT ON suporta a alteração de comentários para colunas de exibição e tabela.

Novas funções SQL

No Databricks Runtime 16.1 e superior, as seguintes novas funções SQL internas estão disponíveis:

• dayname(expr) retorna o acrônimo inglês de três letras para o dia da semana para a data determinada.
• uniforme(expr1, expr2 [,seed]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo especificado de números.
• randstr(length) retorna uma sequência aleatória de length caracteres alfanuméricos.

Invocação de parâmetro nomeado para mais funções

No Databricks Runtime 16.1 e versões posteriores, as seguintes funções suportam invocação de parâmetro nomeado:

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

O parâmetro SYNC METADATA do comando REPAIR TABLE é suportado com o Hive metastore

No Databricks Runtime 16.1 e superior, você pode usar o parâmetro SYNC METADATA com o comando REPAIR TABLE para atualizar os metadados de uma tabela gerenciada de metastore do Hive. Consulte REPAIR TABLE.

Integridade de dados aprimorada para conjuntos compactados do Apache Arrow

No Databricks Runtime 16.1 e superior, para proteger ainda mais contra a corrupção de dados, cada lote compactado de Arrow LZ4 agora inclui o conteúdo LZ4 e os checksums de bloco. Consulte Descrição do formato de quadro LZ4.

Suporte adicionado para métodos Scala no cálculo em modo de acesso padrão do Unity Catalog (anteriormente "modo de acesso compartilhado")

No Databricks Runtime 16.1 e posteriores, na computação em modo de acesso padrão do Unity Catalog, é adicionado suporte para os seguintes métodos Scala: Dataset.flatMapGroups(), Dataset.mapGroups()e DataStreamWriter.foreach().

Driver JDBC integrado Teradata

No Databricks Runtime 16.1 e superior, o Teradata JDBC Driver é incorporado ao Azure Databricks. Se usares um JAR de driver JDBC carregado pelo cliente via DriverManager, deves reescrever os scripts para usar explicitamente o JAR personalizado. Caso contrário, é utilizado o driver embutido. Este driver suporta apenas Lakehouse Federation. Para outros casos de uso, você deve fornecer seu próprio driver.

Suporte StreamingQueryListener para Scala

Agora você pode usar StreamingQueryListener no Scala na computação configurada com o modo de acesso padrão.

Driver JDBC da Oracle integrado

No Databricks Runtime 16.1 e superior, o Oracle JDBC Driver é incorporado ao Azure Databricks. Se usares um JAR de driver JDBC carregado pelo cliente via DriverManager, deves reescrever os scripts para usar explicitamente o JAR personalizado. Caso contrário, é utilizado o driver embutido. Este driver suporta apenas Lakehouse Federation. Para outros casos de uso, você deve fornecer seu próprio driver.

Erros mais detalhados para tabelas Delta acessadas através de caminhos

Uma nova experiência de mensagem de erro para tabelas Delta acessadas usando caminhos já está disponível. Todas as exceções agora são encaminhadas para o usuário. A exceção DELTA_MISSING_DELTA_TABLE agora está reservada para quando os arquivos subjacentes não podem ser lidos como uma tabela Delta.

Outras alterações

Códigos de erro renomeados para a fonte Structured Streaming cloudFiles

Esta versão inclui uma alteração para renomear os seguintes códigos de erro:

• _LEGACY_ERROR_TEMP_DBR_0143 é renomeado para CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 é renomeado para CF_INCORRECT_BATCH_USAGE .

Correções de erros

Os tipos aninhados agora aceitam corretamente restrições NULL

Esta versão corrige um problema que afeta algumas colunas de tipos aninhados geradas pelo Delta, por exemplo, STRUCT. Às vezes, essas colunas rejeitavam incorretamente expressões com base em restrições NULL ou NOT NULL de campos aninhados. Isso foi corrigido.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • ipyflow-core de 0.0.198 a 0.0.201
  • pyccolo de 0.0.52 a 0.0.65
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-client_2.12 de 1.2.1 a 1.2.2
  • org.lz4.lz4-java de 1.8.0 a 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 para 2.4.1-linux-x86_64

Apache Spark

O Databricks Runtime 16.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-50482] [SC-182879][core] Configuração de no-op spark.shuffle.spill obsoleta
• [SPARK-50032] [SC-182706][sql][16.x] Permitir o uso de um nome de agrupamento totalmente qualificado
• [SPARK-50467] [SC-182823][python] Adicionar __all__ para funções incorporadas
• [SPARK-48898] [SC-182828][sql] Corrigir bug de fragmentação de variante
• [SPARK-50441] [SC-182668][sql] Corrigir identificadores parametrizados que não funcionam ao fazer referência a CTEs
• [SPARK-50446] [SC-182639][python] Nível simultâneo em UDF Python otimizado com Arrow
• [SPARK-50430] [SC-182536][core] Utilize a função padrão Properties.clone em vez da clone manual
• [SPARK-50471] [SC-182790][python] Suporte para Escritor de Fonte de Dados Python baseado em Arrow
• [SPARK-50466] [SC-182791][python] Refinar o docstring para funções de cadeia de caracteres - parte 1
• [SPARK-50194] [DBR16.x][sc-182593][SS][python] Integração de Nova API de Timer e API de Estado Inicial com Timer
• [SPARK-50437] [SC-182586][ss] Reduza a sobrecarga de criação de desserializadores em TransformWithStateExec
• [SPARK-49676] [DBR16.x][sc-182538][SS][python] Adicionar suporte para encadeamento de...
• [SPARK-49294] [SC-182730][ui] Adicionar atributo largura para a caixa de seleção shuffle-write-time.
• [SPARK-50426] [SC-182540][python] Evite a pesquisa de fontes de dados Python estáticas ao usar fontes de dados incorporadas ou Java
• [SPARK-48356] [SC-182603][sql] Suporte para a instrução FOR
• [SPARK-50333] [SC-182136][sql] Suporte para Codegen para CsvToStructs (com a invocação de & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Métricas para commits em instâncias de StagedTable
• [SPARK-50081] [SC-182344][sql] Suporte de geração de código para XPath*(por Invoke & RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refatorar AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][sql] Suporte de Codegen para SchemaOfCsv (invocando & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][sql] corrigir falha pós-mesclagem no teste de erro
• [SPARK-50118] [SC-181259][connet] Redefinir cache de estado isolado quando as tarefas estão em execução
• [SPARK-49873] [SC-178577][sql] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][core] Suporte spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] Adicionar função DAYNAME
• [SPARK-50270] [SC-181179][ss][PYTHON] Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
• [SPARK-50118] Reverter "[SC-181259][connet] Redefinir cache de estado isolado quando as tarefas estão em execução"
• [SPARK-50075] [SC-181820][sql][PYTHON][connect] Adicionar APIs DataFrame para funções com valor de tabela
• [SPARK-49470] [SC-175736][ui] Atualizar dataTables, folhas de estilo e javascripts de 1.13.5 para 1.13.11
• [SPARK-50235] Reverter “[SC-180786][sql] Limpar o recurso ColumnVector após processar todas as linhas em ColumnarToRowExec”
• [SPARK-50324] [SC-182278][python][CONNECT] Configurar createDataFrame para acionar Config RPC no máximo uma vez
• [SPARK-50387] [SC-182441][ss] Condição de atualização para expiração do temporizador e teste relevante
• [SPARK-50287] [SC-182400][sql] Opções de mesclagem de tabela e relação ao criar o WriteBuilder em FileTable
• [SPARK-50066] [SC-181484][sql] Suporte de Codegen para SchemaOfXml (por invocação de & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][sql] Corrigir o comportamento do conector PostgreSQL para matrizes multidimensionais
• [SPARK-50318] [SC-181641][sql] Adicionar IntervalUtils.makeYearMonthInterval para desduplicar o código entre interpretado e codegen
• [SPARK-50312] [SC-181646][sql] SparkThriftServer createServer erro ao passar parâmetros quando Kerberos é verdadeiro
• [SPARK-50246] [SC-181468][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] A partir de json/xml não deve alterar agrupamentos no esquema dado
• [SPARK-50250] [SC-181466][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] Redefinir cache de estado isolado quando as tarefas estão em execução
• [SPARK-50235] [SC-180786][sql] Limpar recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50156] [SC-180781][sql] Integrar _LEGACY_ERROR_TEMP_2113 no UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][sql] Integrar _LEGACY_ERROR_TEMP_0028 em UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][sql] Suporte de Codegen para StructsToJson(to_json)
• [SPARK-50055] [SC-180978][sql] Adicionar alternativa TryMakeInterval
• [SPARK-50397] [SC-182367][core] Remover argumentos --ip e -i obsoletos de Master/Worker
• [SPARK-50238] [SC-181434][python] Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs de UC Python
• [SPARK-50079] [SC-179830][sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][exemplo] Adicionar submit-sql.sh exemplo de API REST
• [SPARK-49966] [SC-179501][sql] Use Invoke para implementar JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][ss] Garantir tamanhos de índice secundário iguais aos tamanhos de índice primário para variáveis com estado TransformWithState com TTL
• [SPARK-50301] [SC-182241][ss][16.x] Faça com que as métricas TransformWithState reflitam seus significados intuitivos
• [SPARK-50175] [SC-182140][sql] Alterar cálculo de precedência de agrupamento
• [SPARK-50148] [SC-180292][sql] Tornar StaticInvoke compatível com o método que declara exceção throw
• [SPARK-50280] [SC-181214][python] Refatore a classificação dos resultados e o preenchimento do compartimento vazio compute_hist
• [SPARK-50190] [SC-182458][python] Remover a dependência direta do Numpy do histograma
• [SPARK-50382] [SC-182368][connect] Adicione documentação para obter informações gerais sobre o desenvolvimento de aplicativos com/estendendo o Spark Connect
• [SPARK-50296] [SC-181464][python][CONNECT] Evite usar uma propriedade de classe no threadpool para o cliente Python Connect
• [SPARK-49566] [SC-182239][sql] Adicionar sintaxe de pipe SQL para o operador EXTEND
• [SPARK-50036] [SC-179533][core][PYTHON] Incluir SPARK_LOG_SCHEMA no contexto do shell REPL
• [SPARK-49859] [SC-178259][connect] Substituir multiprocessing.ThreadPool por ThreadPoolExecutor
• [SPARK-50141] [SC-182378][python] Permitir que lpad e rpad aceitem argumentos do tipo Coluna
• [SPARK-50379] [SC-182142][sql] Corrigir manipulação DayTimeIntevalType em WindowExecBase
• [SPARK-49954] [SC-179110][sql] Suporte Codegen para SchemaOfJson (por Invoke & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][core] Use o 0 ExitCode para utilização de --help em scripts do Spark
• [SPARK-50377] [SC-182238][sql] Permitir avaliar o RuntimeReplaceable dobrável
• [SPARK-50241] [SC-181444][sql] Substitua NullIntolerant Mixin pelo método Expression.nullIntolerant
• [SPARK-50084] [SC-179672][sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] Integre _LEGACY_ERROR_TEMP_0039 no UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][ss] Adicionar métrica personalizada para rastrear gastos para o estado inicial do proc em transformWithState
• [SPARK-50029] [SC-179531][sql] Tornar StaticInvoke compatível com o método que retorna Any
• [SPARK-49990] [SC-179497][sql] Melhorar o desempenho do randStr
• [SPARK-50048] [SC-179528][sql] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] Transforme _LEGACY_ERROR_TEMP_2104 em INTERNAL_ERROR
• [SPARK-49665] [SC-180054][sql] Suporte de agrupamento de corte para funções de cadeia de caracteres
• [SPARK-48549] [SC-176472][sql][PYTHON] Melhorar a função SQL sentences
• [SPARK-50022] [SC-179503][core][UI] Corrigir MasterPage para ocultar links da UI do aplicativo quando a UI está desativada
• [SPARK-50087] [SC-182152] Manipulação robusta de expressões booleanas em CASE WHEN para MsSqlServer e conectores futuros
• [SPARK-49991] [SC-179481][sql] Faça com que o HadoopMapReduceCommitProtocol respeite 'mapreduce.output.basename' para gerar nomes de arquivo
• [SPARK-50038] [SC-179521][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] Corrigir ApplicationPage para esconder links da UI da aplicação quando a UI está desabilitada
• [SPARK-49911] [SC-179111][sql] Corrigir semântica de igualdade binária de suporte
• [SPARK-50025] [SC-179496][sql] Integração de _LEGACY_ERROR_TEMP_1253 no EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][ss] Corrigir o erro na otimização ao adicionar entrada ao armazenamento de estado na junção de fluxos
• [SPARK-50004] [SC-179499][sql] Integre _LEGACY_ERROR_TEMP_3327 no FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator deve respeitar o contrato em ConstantFolding
• [SPARK-50340] [SC-181859][sql] Desempacotar UDT na INSERT consulta de entrada
• [SPARK-50237] [SC-181660][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][sql] Corrigir problema de alteração da ordem da coluna de saída após a otimização do AQE
• [SPARK-49773] [SC-178369][sql] Exceção Java não detetada de make_timestamp() com fuso horário incorreto
• [SPARK-49977] [SC-179265][sql] Use computação iterativa baseada em pilha para evitar a criação de muitos objetos Scala List para árvores de expressões profundas
• [SPARK-50153] [SC-181591][sql] Adicionar name para tornar os RuleExecutor logs de impressão QueryExecutionMetricsmais claros
• [SPARK-50320] [SC-181668][core] Tornar --remote uma opção oficial ao remover o aviso de experimental
• [SPARK-49909] [SC-179492]Reverter "[SQL] Corrigir o nome bonito de algumas expressões"
• [SPARK-50330] [SC-180720][sc-181764][SQL] Adicionar dicas aos nós Classificar e Janela
• [SPARK-50364] [SC-182003][sql] Implementar serialização para o tipo LocalDateTime em Row.jsonValue
• [SPARK-50016] [SC-182139][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][python][SS] Suporte para a função "deleteIfExists" em TransformWithStateInPandas
• [SPARK-49757] [SC-177824][sql] Suporte à IDENTIFIER expressão na SETCATALOG declaração
• [SPARK-50315] [SC-181886][sql] Suporte para métricas personalizadas para gravações de V1Fallback
• [SPARK-42838] [SC-181509][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] Refatorar ResolveSQLOnFile
• [SPARK-48344] [SC-181967][sql] Preparar scripts SQL para adição do Framework de Execução
• [SPARK-49345] [SC-174786][connect] Certifique-se de usar a Sessão Spark em execução atual
• [SPARK-49925] [SC-178882][sql] Adicionar testes para ordem com cadeias de caracteres agrupadas
• [SPARK-50167] [SC-181199][python][CONNECT] Melhorar as mensagens de erro e as importações de gráficos do PySpark
• [SPARK-49368] [SC-174999][connect] Evite aceder diretamente às classes protobuf lite
• [SPARK-50056] [SC-181378][sql] Codegen Suporte para ParseUrl (invocando & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][ss][PYTHON] Suporta manipulação de estado inicial para TransformWithStateInPandas
• [SPARK-49908] [SC-178768][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][ss] Resolva a limitação do cálculo de métricas com fontes de streaming DSv1
• [SPARK-49874] [SC-178303][sql] Remova os especificadores de agrupamento trim e ltrim.
• [SPARK-49513] [SC-180339][ss] Adicionar suporte para temporizador na API transformWithStateInPandas
• [SPARK-49119] [SC-175607][sql] Corrigir a inconsistência da sintaxe show columns entre v1 e v2
• [SPARK-49206] [SC-173704][core][UI] Adicionar Environment Variables tabela ao Master EnvironmentPage
• [SPARK-49934] [SC-179581][sql] Adicionar conversão implícita para acessar mapa agrupado com literal
• [SPARK-50049] [SC-181659][sql] Suportar métricas personalizadas do driver ao gravar na tabela v2
• [SPARK-50171] [SC-180295][python] Tornar opcional o uso do numpy no gráfico de KDE
• [SPARK-49962] [SC-179320][sql] Simplifique a hierarquia de classes AbstractStringTypes
• [SPARK-50226] [SC-181483][sql] Corrigir MakeDTInterval e MakeYMInterval para capturar exceções Java
• [SPARK-48775] [SC-170801][sql][STS] Substitua SQLContext por SparkSession no STS
• [SPARK-49015] [SC-175688][core] O Connect Server deve respeitar spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][sql][16.x] Extrair a resolução de funções para ser reutilizada no analisador de passagem única
• [SPARK-49995] [SC-180762][sql] Adicionar suporte a argumentos nomeados a mais TVFs
• [SPARK-49268] [SC-174903][core] Registar exceções de E/S no provedor de histórico SHS
• [SPARK-48123] [SC-164989][core] Fornecer um esquema de tabela constante para consultar logs estruturados
• [SPARK-49217] [SC-174904][core] Suporta configuração de tamanho de buffer separado no UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][sql][16.x] Extrair a resolução de aliases para reutilização no analisador de passagem única
• [SPARK-50322] [SC-181665][sql] Corrigir identificador parametrizado em uma subconsulta
• [SPARK-48400] [SC-175283][core] Promova PrometheusServlet para DeveloperApi
• [SPARK-50118] Reverter "[SC-181259][connet] Redefinir cache de estado isolado quando as tarefas estão em execução"
• [SPARK-50306] [SC-181564][python][CONNECT] Suportar o Python 3.13 no Spark Connect
• [SPARK-50152] [SC-181264][ss] Suporte para handleInitialState com leitor de fonte de dados de estado
• [SPARK-50260] [SC-181271][connect] Refatorar e otimizar o Spark C...
• [SPARK-47591] [SC-163090][sql] Hive-thriftserver: Migrar logInfo com variáveis para a estrutura de log estruturada
• [SPARK-49312] [SC-174672][python] Melhorar mensagem de erro para assertSchemaEqual
• [SPARK-49439] [SC-175236][sql] Corrija o nome bonito da expressão FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Corrigir o comportamento do conector PostgreSQL para matrizes multidimensionais
• [SPARK-49913] [SC-181565][sql] Adicionar uma verificação de unicidade dos nomes de rótulos em escopos aninhados rotulados
• [SPARK-49563] [SC-181465][sql] Adicionar sintaxe de pipe SQL para o operador WINDOW
• [SPARK-49661] [SC-179021][sql] Implemente o hashing de agrupamento de corte e a comparação.
• [SPARK-38912] [SC-181543][python] Remover o comentário relacionado ao classmethod e à propriedade
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB Hardening] Melhore o gerenciamento de mapeamento de arquivos SST do RocksDB e corrija o problema de recarregar a mesma versão com o snapshot existente
• [SPARK-49002] Reverter “[SC-172846][sql] Trate consistentemente locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49668] [SC-178268][sql] Implementar suporte de chave de agrupamento para agrupamento de corte
• [SPARK-50262] [SC-181193][sql] Proibir tipos complexos de especificação durante a alteração do agrupamento
• [SPARK-48898] [SC-181435][sql] Adicionar funções de decomposição de variantes
• [SPARK-48273] [SC-181381] Reverter "[SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][core] Suporte spark.submit.appName
• [SPARK-50208] [SC-180662][core] Suporte spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][sql] As substituições de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 devem ser NullIntolerant
• [SPARK-50247] [SC-180962][core] Definir BLOCK_MANAGER_REREGISTRATION_FAILED como ExecutorExitCode
• [SPARK-50282] [SC-181221][ml] Simplifique TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][sql] Permitindo que o operador TransformWithState use a codificação Avro
• [SPARK-50267] [SC-181180][ml] Melhorar TargetEncoder.fit com APIs do DataFrame
• [SPARK-37178] [SC-180939][ml] Adicionar codificação de destino a ml.feature
• [SPARK-50118] [SC-181259][connet] Redefinir cache de estado isolado quando as tarefas estão em execução
• [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] Assegure que lit(ndarray) com np.int8 respeite o tipo de dados do numpy
• [SPARK-50256] [SC-181048][sql] Adicione uma validação leve para verificar se um plano lógico fica sem solução após cada regra do otimizador
• [SPARK-50196] [SC-180932][connect] Corrigir contexto de erro Python para usar um contexto mais adequado
• [SPARK-50274] [SC-181181][core] Proteção contra uso após fechamento em DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][python][CONNECT] Suporta parâmetro opcional "coluna" em gráficos de caixa, kde e hist
• [SPARK-50273] [SC-181178][ss] Melhorar o registo em log para casos de aquisição e libertação de bloqueios do RocksDB
• [SPARK-50033] [SC-180720][sc-180659][SQL] Adicione uma dica ao nó logical.Aggregate()
• [SPARK-50163] [16.x][sc-180201][SC-180664][ss] Corrija a versão adicional do RocksDB acquireLock devido à conclusão do ouvinte
• [SPARK-50253] [SC-180969][ss] Stream-Stream Join não deve buscar o ID do ponto de verificação se não for suportado.
• [SPARK-50255] [SC-180964][python] Evite fundição desnecessária no compute_hist
• [SPARK-50228] [SC-180780][sql] Mover a regra RewriteCollationJoin para FinishAnalysis
• [SPARK-50001] [SC-179524][python][PS][connect] Ajuste a "precisão" para fazer parte dos kwargs para gráficos de caixa
• [SPARK-49637] [SC-180160][sql] Mensagem de erro modificada para INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][python] Obter sessão ativa a partir de dataframes
• [SPARK-50195] [SC-180654][core] Corrigir StandaloneRestServer para propagar spark.app.name para SparkSubmit corretamente
• [SPARK-50229] [SC-180773] Reduza o uso de memória no driver para esquemas amplos reduzindo a vida útil dos objetos AttributeReference criados durante o planejamento lógico
• [SPARK-50231] [SC-180815][python] Ajustar a função instr para aceitar coluna substring
• [SPARK-49854] [SC-179812][16.x][SQL] Clonar o gestor de artefatos durante a clonagem da sessão
• [SPARK-50219] [SC-180694][sql] Reestruture ApplyCharTypePadding para que métodos auxiliares possam ser usados no resolutor de passagem única
• [SPARK-50077] [SC-179827][sql] Introduza um novo objeto pattern para LogicalRelation para ajudar a evitar o padrão padrão de parâmetros completos
• [SPARK-50128] [Backport][16x][SC-180677][ss] Adicionar APIs de identificador de processador com estado usando codificadores implícitos no Scala
• [SPARK-50061] [SC-179961][sql] Habilitar tabela de análise para colunas agrupadas
• [SPARK-49993] [SC-180084][sql] Melhorar mensagens de erro para Soma e Média
• [SPARK-49638] [SC-179665][sql] Remova a sugestão de configuração ANSI no INVALID_URL
• [SPARK-50204] [SC-180660][sql] Extrair HiveTableRelation resolução do caminho de leitura
• [SPARK-50193] [SC-180651][ss] Corrigir o tratamento de exceções para validar modos de tempo
• [SPARK-50179] [SC-180342][core] Tornar spark.app.name propriedade opcional na API REST
• [SPARK-50068] [SC-180300][sql] Refatorar TypeCoercion e AnsiTypeCoercion para separar transformações isoladas de nó
• [SPARK-49411] [SC-179483][ss] Comunicar o ID do ponto de verificação do State Store entre o driver e os operadores stateful
• [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET deve preservar a ordenação de dados
• [SPARK-49506] [SC-180165][sql] Otimizar ArrayBinarySearch para array dobrável
• [SPARK-50097] [SC-179908][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][PYTHON] Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
• [SPARK-50054] [SC-180228][python][CONNECT] Suporte para gráficos de histogramas
• [SPARK-50015] [SC-179964][sql] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Mover arquivos scala e java para suas pastas padrão
• [SPARK-49980] [SC-180353][core][SQL] Corrigir possíveis vazamentos de fluxo de arquivos causados por interrupção em tarefas canceladas
• [SPARK-49010] [SC-172304][sql][XML] Adicionar testes de unidade para inferência de esquema XML com sensibilidade a maiúsculas e minúsculas
• [SPARK-49562] [SC-180211][sql] Adicionar sintaxe de SQL pipe para agregação
• [SPARK-49663] [SC-180239][sql] Habilitar sugestões RTRIM em expressões de agrupamento
• [SPARK-48965] [SC-175926][sql] Uso do esquema correto em Dataset#toJSON
• [SPARK-48493] [SC-175893][python] Melhorar o leitor de fontes de dados Python com suporte direto a lotes Arrow para melhorar o desempenho
• [SPARK-49734] [SC-180226][python] Adicionar seed argumento para a função shuffle
• [SPARK-50174] [16.x][sc-180253][SQL] Extrair resolução UnresolvedCatalogRelation
• [SPARK-49989] [SC-179512][python][CONNECT] Apoio a plotagens de densidade kde
• [SPARK-49805] [SC-180218][sql][ML] Remover funções privado[xxx] de function.scala
• [SPARK-49808] [SC-179490][sql] Corrigir um impasse na execução de subconsultas devido a vals preguiçosos
• [SPARK-49929] [SC-180144][python][CONNECT] Gráficos de caixa de suporte
• [SPARK-50008] [SC-179290][ps][CONNECT] Evite operações desnecessárias no attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][ps][CONNECT] Refatore a invocação da função interna
• [SPARK-49683] [SC-178341][sql] Ordenação de corte de blocos
• [SPARK-49939] [SC-178941][sql] Suporte a Geração de Código para json_object_keys (por Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582][sql] Adicionar a expressão TryParseUrl
• [SPARK-49766] [SC-178933][sql] Codegen Suporte para json_array_length (por Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][ss] Use a ordem estável do nó EventTimeWatermark para calcular a marca d'água
• [SPARK-49540] [SC-180145][ps] Unifique o uso de distributed_sequence_id
• [SPARK-50060] [SC-179965][sql] Desativada a conversão entre diferentes tipos com agrupamento em TypeCoercion e AnsiTypeCoercion
• [SPARK-49004] [SC-173244][connect] Usar registro separado para funções internas da API de Colunas
• [SPARK-49811] [SC-177888][sql]Renomear StringTypeAnyCollation
• [SPARK-49202] [SC-180059][ps] Aplicar ArrayBinarySearch para histograma
• [SPARK-49203] [SC-175734][sql] Adicionar expressão para java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][core] Corrigir erros fatais relatados incorretamente como exceções não capturadas no SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][sql] As ordenações que usam ICU devem incluir a versão da biblioteca de ICU utilizada
• [SPARK-49985] [SC-179644][sql] Remover suporte para tipos de intervalo em Variant
• [SPARK-49103] [SC-173066][core] Suporte spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refatorar ResolveBinaryArithmetic para separar a transformação de nó único
• [SPARK-49902] [SC-179650][sql] Detetar erros de tempo de execução subjacentes no RegExpReplace
• [SPARK-49126] [SC-173342][core] Mover spark.history.ui.maxApplications definição de configuração para History.scala
• [SPARK-50094] [SC-179820][python][CONNECT] Melhor mensagem de erro ao utilizar a ferramenta de perfil de memória em editores sem numeração de linhas
• [SPARK-50062] [SC-179835][sql] Suportar ordenamentos por InSet
• [SPARK-50035] [Backport][16x][SC-179530][ss] Adicionar suporte para a função explícita handleExpiredTimer, que é parte do processador com estado.
• [SPARK-49982] [SC-179814][sql] Corrigir cache negativo em InMemoryRelation
• [SPARK-49082] [SC-173350][sql] Alargando as promoções de tipo em AvroDeserializer
• [SPARK-50088] [SC-179680][sql] Refatorar UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][ss] Adicionar suporte para feed de alterações de leitura para tipos mapa e lista usados em processadores com estado
• [SPARK-49846] [SC-179506][ss] Adicionar métricas numUpdatedStateRows e numRemovedStateRows para uso com o operador transformWithState
• [SPARK-50050] [SC-179643][python][CONNECT][16.x] Fazer o lit aceitar ndarray do tipo str e bool do numpy
• [SPARK-49821] [SC-179527][ss][PYTHON] Implemente o suporte MapState e TTL para TransformWithStateInPandas
• [SPARK-49558] [SC-179485][sql] Adicione sintaxe de pipe SQL para LIMIT/OFFSET e ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][lc-4080][SQL] Corrija canPlanAsBroadcastHashJoin para respeitar as dicas de junção por shuffle
• [SPARK-50051] [SC-179571][python][CONNECT] Fazer lit funcionar com ndarray numpy vazio
• [SPARK-50018] [SC-179488][sql] Tornar AbstractStringType serializável
• [SPARK-50016] [SC-179491][sql] Melhorar erro de incompatibilidade de agrupamento explícito
• [SPARK-50010] [SC-179487][sql] Expandir erro de incompatibilidade de agrupamento implícito
• [SPARK-48749] [SC-170116][sql] Simplifique o UnaryPositive e elimine suas regras do Catalyst com RuntimeReplaceable
• [SPARK-49857] [SC-178576][sql] Adicionar storageLevel à API localCheckpoint do conjunto de dados
• [SPARK-50058] [SC-179538][sql] Funções de normalização do plano de fatoração para usá-las posteriormente em testes de analisador de passagem única
• [SPARK-50052] [SC-179535][python][16.X] Tornar o NumpyArrayConverter suporte str ndarray vazio
• [SPARK-47261] [SC-173665][sql] Atribua um nome melhor para erros _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 e _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][core] Marcar KryoRegistrator com a interface DeveloperApi
• [SPARK-48949] [SC-173070][sql] SPJ: Filtragem de partição em tempo de execução
• [SPARK-50044] [SC-179523][python] Refinar o docstring de várias funções matemáticas
• [SPARK-48757] [SC-170113][core] Fazer IndexShuffleBlockResolver ter construtores explícitos
• [SPARK-50037] [SQL] Refactor AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][sql] Adicionar suporte para executar procedimentos em catálogos
• [SPARK-49057] [SC-173081][sql] Não bloqueie o loop AQE ao enviar estágios de consulta
• [SPARK-48824] [SC-176772][behave-167][SQL] Adicionar sintaxe SQL da coluna de identidade
• [SPARK-48773] [SC-170773] Documentação da configuração "spark.default.parallelism" pelo framework de construção de configurações
• [SPARK-48735] [SC-169810][sql] Melhoria de desempenho para a função BIN
• [SPARK-48900] [SC-172433] Adicionar campo reason para todas as chamadas internas para cancelamento de trabalho/estágio
• [SPARK-48488] [SC-167605][core] Corrigir métodos log[info|warning|error] em SparkSubmit
• [SPARK-48708] [SC-169809][core] Remova três registros de tipo desnecessários do KryoSerializer
• [SPARK-49958] [SC-179312][python] API Python para funções de validação de cadeia de caracteres
• [SPARK-49979] [SC-179264][sql] Corrigir problema de suspensão do AQE ao tentar coletar duas vezes num plano falhado
• [SPARK-48729] [SC-169795][sql] Adicionar uma interface UserDefinedFunction para representar uma função SQL
• [SPARK-49997] [SC-179279][sql] Integrar _LEGACY_ERROR_TEMP_2165 no MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][ss]Criação de partição baseada em tamanho ao ler o Kafka
• [SPARK-48129] [SC-165006][python] Fornecer um esquema de tabela constante no PySpark para consultar logs estruturados
• [SPARK-49951] [SC-179259][sql] Atribuir condição de erro adequada para LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][sql] Integrar _LEGACY_ERROR_TEMP_1252 no EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][connect] Livre-se de bloqueios globais do Spark Connect Service
• [SPARK-49957] [SC-179202][sql] API Scala para funções de validação de cadeia de caracteres
• [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener não deve ser afetado por spark.interrupt()
• [SPARK-49643] [SC-179239][sql] Mesclar _LEGACY_ERROR_TEMP_2042 em ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][sql] Corrigir ColumnarArray.copy() para ler nulos do deslocamento correto
• [SPARK-49956] Reverter "[SC-179070] Agrupamentos desativados com expressão collect_set"
• [SPARK-49987] [SC-179180][sql] Corrigir o prompt de erro quando seedExpression não for dobrável no randstr
• [SPARK-49948] [SC-179158][ps][CONNECT] Adicionar parâmetro "precision" aos pandas no gráfico de caixa Spark
• [SPARK-49970] [SC-179167][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][sql] Lançar exceção apropriada para incompatibilidade de tipo entre ColumnType e tipo de dados em algumas linhas
• [SPARK-49956] [SC-179070] Desativação de ordenações com a expressão collect_set
• [SPARK-49974] [16.x][sc-179071][SQL] Mover resolveRelations(...) para fora do Analyzer.scala
• [SPARK-47259] [SC-176437][sql] Atribuir nomes a condições de erro para erros de intervalo
• [SPARK-47430] [SC-173679][sql] Reelaborar o agrupamento por tipo de mapa para corrigir exceção de referência associada
• [SPARK-49067] [SC-172616][sql] Mover utf-8 literal para métodos internos da classe UrlCodec
• [SPARK-49955] [SC-178989][sql] valor nulo não significa arquivo corrompido ao analisar a cadeia JSON RDD
• [SPARK-49393] [SC-175212][sql] Falha por padrão em APIs de plug-in de catálogo preteridas
• [SPARK-49952] [SC-178985][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][sql] Restringir conjuntos de caracteres em JsonOptions
• [SPARK-49892] [SC-178975][sql] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_105[3-4] e _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][sql] Manipular zeros e uns em ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][sql] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2271
• [SPARK-49918] [SC-178748][core] Utilizar acesso de só leitura para configuração em SparkContext quando apropriado
• [SPARK-49666] [SC-177891][sql] Adicionar flag de funcionalidade para a função de ordenação com corte
• [SPARK-48885] [SC-171050][sql] Fazer com que algumas subclasses de RuntimeReplaceable substituam a substituição por val preguiçoso
• [SPARK-49932] [SC-178931][core] Usar recursos para liberar tryWithResource e evitar vazamentos de memória JsonUtils#toJsonString
• [SPARK-49949] [SC-178978][ps] Evite tarefas de análise desnecessárias no attach_sequence_column
• [SPARK-49924] [SC-178935][sql] Manter containsNull após a substituição de ArrayCompact
• [SPARK-49121] [SC-174787][sql] Suporte from_protobuf e to_protobuf para funções SQL
• [SPARK-47496] [SC-160529][sql] Suporte Java SPI para registro dinâmico de dialetos JDBC
• [SPARK-49359] [SC-174895][sql] Permitir que implementações StagedTableCatalog retornem à gravação não atômica
• [SPARK-49895] [SC-178543][sql][ES-1270338] Melhorar o erro ao encontrar vírgula final na cláusula SELECT
• [SPARK-47945] [SC-163457][sql] MsSQLServer: Documentar o mapeamento dos tipos de dados Spark SQL do Microsoft SQL Server e a adição de testes
• [SPARK-46037] [SC-175495][sql] Correção de precisão para Shuffled Hash Join com construção à esquerda sem geração de código
• [SPARK-47813] [SC-162615][sql] Substitua getArrayDimension por updateExtraColumnMeta
• [SPARK-49542] [SC-178765][sql] Erro ao avaliar exceção de transformação de partição
• [SPARK-47172] [SC-169537][core] Adicionar suporte para AES-GCM para criptografia RPC
• [SPARK-47666] [SC-161476][sql] Corrija o NPE ao ler a matriz de bits mysql como LongType
• [SPARK-48947] [SC-174239][sql] Use o nome do charset em minúsculas para reduzir falhas de cache em Charset.forName
• [SPARK-49909] [SC-178552][sql] Corrija o nome bonito de algumas expressões
• [SPARK-47647] [SC-161377][sql] Torne a fonte de dados MySQL capaz de ler bit(n>1) como BinaryType como Postgres
• [SPARK-46622] [SC-153004][core] Substituir o método toString por o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][python] Torne a nomenclatura do parâmetro PySparkException consistente com a JVM
• [SPARK-49889] [SC-178474][python] Adicionar trim de argumento para funçõestrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] Corrigir erro de mapeamento de tipo de dados no MySQL Connector/J
• [SPARK-47628] [SC-161257][sql] Corrigir problema de matriz de bits do Postgres 'Não é possível converter para booleano'
• [SPARK-49843] [SC-178084][es-1268164][SQL] Corrigir alteração do comentário em colunas de tipo char/varchar
• [SPARK-49549] [SC-178764][sql] Atribua um nome às condições de erro _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][sql] Tornar DelegatingCatalogExtension mais extensível
• [SPARK-49559] [SC-178551][sql] Adicionar sintaxe de pipe SQL para operações definidas
• [SPARK-49906] [SC-178536][sql] Introduzir e usar o erro CONFLICTING_DIRECTORY_STRUCTURES em PartitioningUtils
• [SPARK-49877] [SC-178392][sql] Alterar assinatura da função classifyException: adicionar argumento isRuntime
• [SPARK-47501] [SC-160532][sql] Adicione convertDateToDate como o convertTimestampToTimestamp existente para JdbcDialect
• [SPARK-49044] [SC-175746][sql] ValidateExternalType deve retornar filho em erro
• [SPARK-47462] [SC-160460][sql] Alinhar mapeamentos de outros tipos numéricos não assinados com TINYINT no MySQLDialect
• [SPARK-47435] [SC-160129][sql] Corrigir problema de estouro de MySQL TINYINT NÃO ASSINADO causado por SPARK-45561
• [SPARK-49398] [SC-176377][sql] Melhorar o erro para parâmetros na consulta de CACHE TABLE e CREATE VIEW
• [SPARK-47263] [SC-177012][sql] Atribuir nomes às condições herdadas _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][sql] Corrijam o prompt quando ascendingOrder estiver DataTypeMismatch no SortArray
• [SPARK-49806] [SC-178304][sql][CONNECT] Remover blank space redundantes após show em clientes Scala e Connect
• [SPARK-47258] [SC-175032][sql] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][sql] Adicionar sintaxe de pipe SQL para o operador JOIN
• [SPARK-49836] [SC-178339][sql][SS] Corrigir consulta possivelmente quebrada quando a janela é fornecida para window/session_window fn
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Gerir mapeamento de timestamps SQL para Postgres e MySQL
• [SPARK-49776] [SC-177818][python][CONNECT] Suporte para gráficos de pizza
• [SPARK-49824] [SC-178251][ss][CONNECT] Melhorar o registo no SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][python][CONNECT] Refinar a representação de string das operações de campo de coluna
• [SPARK-49764] [SC-177491][python][CONNECT] Suportar gráficos de área
• [SPARK-49694] [SC-177376][python][CONNECT] Suporte para gráficos de dispersão
• [SPARK-49744] [SC-178363][ss][PYTHON] Implementar suporte TTL para ListState em TransformWithStateInPandas
• [SPARK-49879] [SC-178334][core] Mover TransportCipherUtil para um arquivo separado para eliminar avisos de compilação Java
• [SPARK-49866] [SC-178353][sql] Melhorar a mensagem de erro para descrever tabela com colunas de partição
• [SPARK-49867] [SC-178302][es-1260570][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
• [SPARK-49607] [SC-177373][python] Atualizar a abordagem de amostragem para gráficos baseados em amostras
• [SPARK-49626] [SC-177276][python][CONNECT] Suporta gráficos de barras horizontais e verticais
• [SPARK-49531] [SC-177770][python][CONNECT] São suportados gráficos de linha com o backend plotly
• [SPARK-49444] [SC-177692][es-1203248][SQL] UnivocityParser modificado para lançar exceções de tempo de execução causadas por ArrayIndexOutOfBounds com mensagens mais orientadas ao usuário
• [SPARK-49870] [SC-178262][python] Adicionar suporte a Python 3.13 no Spark Classic
• [SPARK-49560] [SC-178121][sql] Adicionar sintaxe de pipe SQL para o operador TABLESAMPLE
• [SPARK-49864] [SC-178305][sql] Melhorar a mensagem de BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][sql] Tornar genéricos os erros em NamedParametersSupport para lidar com funções e procedimentos
• [SPARK-49358] [SC-178158][sql] Expressão de modo para tipos de mapa com cadeias de caracteres agrupadas
• [SPARK-47341] [SC-178157][sql] Corrigir documentação imprecisa de RuntimeConfig#get
• [SPARK-48357] [SC-178153][sql] Suporte para instrução LOOP
• [SPARK-49845] [SC-178059][core] Tornar appArgs e environmentVariables opcionais na API REST
• [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable deve indicar se é para escrever
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Adicionado suporte de ouvinte do lado do cliente para Scala
• [SPARK-48700] [SC-177978][sql] Expressão de modo para tipos complexos (todos os agrupamentos)
• [SPARK-48196] [SC-177899][sql] Transforme os planos calculados de forma preguiçosa de QueryExecution em LazyTry
• [SPARK-49749] [16.x][sc-177877][CORE] Alterar o nível de log para depurar em BlockManagerInfo
• [SPARK-49561] [SC-177897][sql] Adicionar sintaxe de pipe SQL para os operadores PIVOT e UNPIVOT
• [SPARK-49823] [SC-177885][ss] Evite a descarga durante o desligamento no caminho próximo do rocksdb
• [SPARK-49820] [SC-177855] [PYTHON] Alterar raise IOError para raise OSError
• [SPARK-49653] [SC-177266][sql] Junção única para subconsultas escalares correlacionadas
• [SPARK-49552] [SC-177477][python] Adicione suporte à API DataFrame para novas funções SQL 'randstr' e 'uniformes'
• [SPARK-48303] [16.x][sc-166251][CORE] Reorganizar LogKeys
• [SPARK-49656] [16x][backport][SS] Adicione suporte para variáveis de estado com tipos de coleção de estado de valor e opções de leitura de feed de alterações
• [SPARK-48112] [SC-165129][connect] Expor a sessão no SparkConnectPlanner a plugins
• [SPARK-48126] [16.x][sc-165309][Core] Tornar o spark.log.structuredLogging.enabled eficaz
• [SPARK-49505] [SC-176873][sql] Crie novas funções SQL "randstr" e "uniforme" para gerar cadeias de caracteres aleatórias ou números dentro de intervalos
• [SPARK-49463] [SC-177474] Suporte para ListState no TransformWithStateInPandas
• [SPARK-48131] [SC-165007][core] Unificar a chave MDC mdc.taskName e task_name
• [SPARK-49557] [SC-177227][sql] Adicionar sintaxe de pipe SQL para o operador WHERE
• [SPARK-49323] [16.x][sc-174689][CONNECT] Mova o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor
• [SPARK-49745] [SC-177501][ss] Adicionar alteração para leitura de temporizadores registados por meio do leitor da fonte de dados de estado
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] Remova ColumnFamilyOptions e adicione configurações diretamente a dbOptions no RocksDB

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte as atualizações de manutenção do Databricks Runtime 16.1 .

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.1 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres DBR são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java : Zulu17.54+21-CA
• Escala: 2.12.15
• Píton: 3.12.3
• R: 4.4.0
• Lago Delta: 3.2.1

Bibliotecas Python instaladas

Library	Version	Library	Version	Library	Version
annotated-types	0.7.0	asttokens	2.0.5	astunparse	1.6.3
autocommand	2.2.2	azure-core	1.31.0	azure-storage-blob	12.23.0
azure-storage-file-datalake	12.17.0	backports.tarfile	1.2.0	black	24.4.2
blinker	1.7.0	boto3	1.34.69	botocore	1.34.69
cachetools	5.3.3	certifi	2024.6.2	cffi	1.16.0
chardet	4.0.0	charset-normalizer	2.0.4	click	8.1.7
cloudpickle	2.2.1	comm	0.2.1	contourpy	1.2.0
criptografia	42.0.5	cycler	0.11.0	Cython	3.0.11
databricks-sdk	0.30.0	dbus-python	1.3.2	debugpy	1.6.7
decorador	5.1.1	Deprecated	1.2.14	distlib	0.3.8
docstring-to-markdown	0.11	entrypoints	0.4	executing	0.8.3
facets-overview	1.1.1	filelock	3.15.4	fonttools	4.51.0
gitdb	4.0.11	GitPython	3.1.37	google-api-core	2.20.0
google-auth	2.35.0	google-cloud-core	2.4.1	google-cloud-storage	2.18.2
google-crc32c	1.6.0	google-resumable-media	2.7.2	googleapis-common-protos	1.65.0
grpcio	1.60.0	grpcio-status	1.60.0	httplib2	0.20.4
idna	3.7	importlib-metadata	6.0.0	importlib_resources	6.4.0
inflect	7.3.1	ipyflow-core	0.0.201	ipykernel	6.28.0
ipython	8.25.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodate	0.6.1	jaraco.context	5.3.0	jaraco.functools	4.0.1
jaraco.text	3.12.1	jedi	0.19.1	jmespath	1.0.1
joblib	1.4.2	jupyter_client	8.6.0	jupyter_core	5.7.2
kiwisolver	1.4.4	launchpadlib	1.11.0	lazr.restfulclient	0.14.6
lazr.uri	1.0.6	matplotlib	3.8.4	matplotlib-inline	0.1.6
mccabe	0.7.0	mlflow-skinny	2.15.1	more-itertools	10.3.0
mypy	1.10.0	mypy-extensions	1.0.0	nest-asyncio	1.6.0
nodeenv	1.9.1	numpy	1.26.4	oauthlib	3.2.2
opentelemetry-api	1.27.0	opentelemetry-sdk	1.27.0	opentelemetry-semantic-conventions	0.48b0
packaging	24.1	pandas	1.5.3	parso	0.8.3
pathspec	0.10.3	patsy	0.5.6	pexpect	4.8.0
pillow	10.3.0	pip	24.2	platformdirs	3.10.0
plotly	5.22.0	pluggy	1.0.0	prompt-toolkit	3.0.43
proto-plus	1.24.0	protobuf	4.24.1	psutil	5.9.0
psycopg2	2.9.3	ptyprocess	0.7.0	pure-eval	0.2.2
pyarrow	15.0.2	pyasn1	0.4.8	pyasn1-modules	0.2.8
pyccolo	0.0.65	pycparser	2.21	pydantic	2.8.2
pydantic_core	2.20.1	pyflakes	3.2.0	Pygments	2.15.1
PyGObject	3.48.2	PyJWT	2.7.0	pyodbc	5.0.1
pyparsing	3.0.9	pyright	1.1.294	python-dateutil	2.9.0.post0
python-lsp-jsonrpc	1.1.2	python-lsp-server	1.10.0	pytoolconfig	1.2.6
pytz	2024.1	PyYAML	6.0.1	pyzmq	25.1.2
requests	2.32.2	rope	1.12.0	rsa	4.9
s3transfer	0.10.2	scikit-learn	1.4.2	scipy	1.13.1
seaborn	0.13.2	setuptools	74.0.0	six	1.16.0
smmap	5.0.0	sqlparse	0.5.1	ssh-import-id	5.11
stack-data	0.2.0	statsmodels	0.14.2	tenacity	8.2.2
threadpoolctl	2.2.0	tokenize-rt	4.2.1	tomli	2.0.1
tornado	6.4.1	traitlets	5.14.3	typeguard	4.3.0
types-protobuf	3.20.3	types-psutil	5.9.0	types-pytz	2023.3.1.1
types-PyYAML	6.0.0	types-requests	2.31.0.0	types-setuptools	68.0.0.0
types-six	1.16.0	types-urllib3	1.26.25.14	typing_extensions	4.11.0
ujson	5.10.0	unattended-upgrades	0.1	urllib3	1.26.16
virtualenv	20.26.2	wadllib	1.3.6	wcwidth	0.2.5
whatthepatch	1.0.2	wheel	0.43.0	wrapt	1.14.1
yapf	0.33.0	zipp	3.17.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir de um instantâneo CRAN do Gestor de Pacotes Posit de 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Library	Version	Library	Version	Library	Version
arrow	16.1.0	askpass	1.2.0	assertthat	0.2.1
backports	1.5.0	base	4.4.0	base64enc	0.1-3
bigD	0.2.0	bit	4.0.5	bit64	4.0.5
bitops	1.0-8	blob	1.2.4	boot	1.3-30
brew	1.0-10	brio	1.1.5	broom	1.0.6
bslib	0.8.0	cachem	1.1.0	callr	3.7.6
caret	6.0-94	cellranger	1.1.0	chron	2.3-61
classe	7.3-22	cli	3.6.3	clipr	0.8.0
clock	0.7.1	cluster	2.1.6	codetools	0.2-20
colorspace	2.1-1	commonmark	1.9.1	compilador	4.4.0
config	0.3.2	conflicted	1.2.0	cpp11	0.4.7
crayon	1.5.3	credenciais	2.0.1	curl	5.2.1
data.table	1.15.4	datasets	4.4.0	DBI	1.2.3
dbplyr	2.5.0	desc	1.4.3	devtools	2.4.5
diagram	1.6.5	diffobj	0.3.5	resumo	0.6.36
downlit	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-14	reticências	0.3.2	evaluate	0.24.0
fansi	1.0.6	farver	2.1.2	fastmap	1.2.0
fontawesome	0.5.2	forcats	1.0.0	foreach	1.5.2
foreign	0.8-86	forge	0.2.0	fs	1.6.4
future	1.34.0	future.apply	1.11.2	gargle	1.5.2
genérico	0.1.3	gert	2.1.0	ggplot2	3.5.1
gh	1.4.1	git2r	0.33.0	gitcreds	0.1.2
glmnet	4.1-8	globals	0.16.3	glue	1.7.0
googledrive	2.1.1	googlesheets4	1.1.1	gower	1.0.1
graphics	4.4.0	grDevices	4.4.0	grelha	4.4.0
gridExtra	2.3	gsubfn	0.7	gt	0.11.0
gtable	0.3.5	hardhat	1.4.0	haven	2.5.4
highr	0.11	hms	1.1.3	htmltools	0.5.8.1
htmlwidgets	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.0.2	ids	1.0.1	ini	0.3.1
ipred	0.9-15	isoband	0.2.7	iterators	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	juicyjuice	0.1.0
KernSmooth	2.23-22	knitr	1.48	labeling	0.4.3
later	1.3.2	lattice	0.22-5	lava	1.8.0
ciclo de vida	1.0.4	listenv	0.9.1	lubridate	1.9.3
magrittr	2.0.3	markdown	1.13	MASS	7.3-60.0.1
Matrix	1.6-5	memoise	2.0.1	methods	4.4.0
mgcv	1.9-1	mime	0.12	miniUI	0.1.1.1
mlflow	2.14.1	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.1	nlme	3.1-165	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.2.0	parallel	4.4.0
parallelly	1.38.0	pillar	1.9.0	pkgbuild	1.4.4
pkgconfig	2.0.3	pkgdown	2.1.0	pkgload	1.4.0
plogr	0.2.0	plyr	1.8.9	praise	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.4
prodlim	2024.06.25	profvis	0.3.8	progress	1.2.3
progressr	0.14.0	promises	1.3.0	proto	1.0.0
proxy	0.4-27	ps	1.7.7	purrr	1.0.2
R6	2.5.1	ragg	1.3.2	randomForest	4.7-1.1
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.13	RcppEigen	0.3.4.0.0	reactable	0.4.4
reactR	0.6.0	readr	2.1.5	readxl	1.4.3
recipes	1.1.0	rematch	2.0.0	rematch2	2.1.2
remotes	2.5.0	reprex	2.1.1	reshape2	1.4.4
rlang	1.1.4	rmarkdown	2.27	RODBC	1.3-23
roxygen2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-13	RSQLite	2.3.7	rstudioapi	0.16.0
rversions	2.1.2	rvest	1.0.4	sass	0.4.9
scales	1.3.0	selectr	0.4-2	sessioninfo	1.2.2
forma	1.4.6.1	shiny	1.9.1	sourcetools	0.1.7-1
sparklyr	1.8.6	SparkR	3.5.0	espacial	7.3-17
splines	4.4.0	sqldf	0.4-11	SQUAREM	2021.1
stats	4.4.0	stats4	4.4.0	stringi	1.8.4
stringr	1.5.1	survival	3.6-4	swagger	5.17.14.1
sys	3.4.2	systemfonts	1.1.0	tcltk	4.4.0
testthat	3.2.1.1	textshaping	0.4.0	tibble	3.2.1
tidyr	1.3.1	tidyselect	1.2.1	tidyvere	2.0.0
timechange	0.3.0	timeDate	4032.109	tinytex	0.52
tools	4.4.0	tzdb	0.4.0	urlchecker	1.0.1
usethis	3.0.0	utf8	1.2.4	utils	4.4.0
uuid	1.2-1	V8	4.4.2	vctrs	0.6.5
viridisLite	0.4.2	vroom	1.6.5	waldo	0.5.2
whisker	0.4.1	withr	3.0.1	xfun	0.46
xml2	1.3.6	xopen	1.0.1	xtable	1.8-4
yaml	2.3.10	zeallot	0.1.0	zip	2.3.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do grupo	ID do artefato	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-cloudsearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	aws-java-sdk-machinelearning	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	aws-java-sdk-support	1.12.638
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	fluxo	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	23.5.26
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	3.25.1
com.helger	gerador de perfis	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.microsoft.sqlserver	mssql-jdbc	11.2.3.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.27
io.delta	delta-sharing-client_2.12	1.2.2
io.dropwizard.metrics	metrics-annotation	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metrics-healthchecks	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	netty-all	4.1.108.Final
io.netty	netty-buffer	4.1.108.Final
io.netty	netty-codec	4.1.108.Final
io.netty	netty-codec-http	4.1.108.Final
io.netty	netty-codec-http2	4.1.108.Final
io.netty	netty-codec-socks	4.1.108.Final
io.netty	netty-common	4.1.108.Final
io.netty	netty-handler	4.1.108.Final
io.netty	netty-handler-proxy	4.1.108.Final
io.netty	netty-resolver	4.1.108.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-db-r16
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-db-r16-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-db-r16-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-db-r16-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-db-r16-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-db-r16-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.108.Final
io.netty	netty-transport-classes-epoll	4.1.108.Final
io.netty	netty-transport-classes-kqueue	4.1.108.Final
io.netty	netty-transport-native-epoll	4.1.108.Final
io.netty	netty-transport-native-epoll	4.1.108.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.108.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.108.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.108.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.108.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.108.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	recoletor	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	15.0.0
org.apache.arrow	arrow-memory-core	15.0.0
org.apache.arrow	arrow-memory-netty	15.0.0
org.apache.arrow	arrow-vector	15.0.0
org.apache.avro	avro	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	avro-mapred	1.11.3
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.2
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-layout-template-json	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	orc-core	1.9.2-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.2-shaded-protobuf
org.apache.orc	orc-shims	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4.23
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.9.2
org.apache.zookeeper	zookeeper-jute	3.9.2
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.collections	eclipse-collections	11.1.0
org.eclipse.collections	eclipse-collections-api	11.1.0
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	jetty-continuation	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	jersey-common	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	0.9.45-databricks
org.roaringbitmap	shims	0.9.45-databricks
org.rocksdb	rocksdbjni	9.2.1
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.11.0
org.scala-lang.modules	scala-java8-compat_2.12	0.9.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.16
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	scalatest-compatible	3.2.16
org.scalatest	scalatest-core_2.12	3.2.16
org.scalatest	scalatest-diagrams_2.12	3.2.16
org.scalatest	scalatest-featurespec_2.12	3.2.16
org.scalatest	scalatest-flatspec_2.12	3.2.16
org.scalatest	scalatest-freespec_2.12	3.2.16
org.scalatest	scalatest-funspec_2.12	3.2.16
org.scalatest	scalatest-funsuite_2.12	3.2.16
org.scalatest	scalatest-matchers-core_2.12	3.2.16
org.scalatest	scalatest-mustmatchers_2.12	3.2.16
org.scalatest	scalatest-propspec_2.12	3.2.16
org.scalatest	scalatest-refspec_2.12	3.2.16
org.scalatest	scalatest-shouldmatchers_2.12	3.2.16
org.scalatest	scalatest-wordspec_2.12	3.2.16
org.scalatest	scalatest_2.12	3.2.16
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
stax	stax-api	1.0.1