Databricks Runtime 14.2 (EoS)

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 14.2, da plataforma Apache Spark 3.5.0.

O Databricks lançou esta imagem em novembro de 2023.

Novos recursos e aprimoramentos

• CACHE SELECT agora é ignorado
• Comportamento de cache aprimorado
• Correção de tratamento de arquivos corrompidos em comandos DML
• Suporte ao Registro de Esquema para protobuf e funções relacionadas ao Avro em clusters compartilhados
• foreachBatch e StreamingListener dão suporte
• A simultaneidade em nível de linha está em Disponibilidade Geral e ativada por padrão
• Compartilhamento Delta: Os destinatários podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização Pública)
• Clone superficial para tabelas externas do Catálogo do Unity (Visualização Pública)
• Novo algoritmo de atribuição de cache de disco
• from_avro com o conector do registro de esquema adiciona suporte para a evolução do esquema
• Coleção de estatísticas multi-threaded mais rápida
• Filtros pushdown nos arquivos DeltaSource no Delta
• Suporte para funções escalares do Scala definidas pelo usuário em clusters compartilhados (Visualização Pública)

CACHE SELECT agora é ignorado

O comando SQL CACHE SELECT agora é ignorado em favor de um algoritmo de cache aprimorado. Veja Otimizar o desempenho com o uso do cache no Azure Databricks.

Comportamento de cache aprimorado

O posicionamento do DiskCache pelo agendador do Spark agora tem uma atribuição de partição mais rápida, melhor balanceamento durante o dimensionamento automático do cluster e execução de consulta mais consistente.

Correção de tratamento de arquivos corrompidos em comandos DML

Os comandos DML DELETE, UPDATE e MERGE INTO não respeitam mais as opções de leitura ignoreCorruptFiles e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falharão mesmo se essas opções forem especificadas.

Suporte ao Registro de Esquema para protobuf e funções relacionadas ao Avro em clusters compartilhados

Agora você pode usar as funções from_avro, to_avro, from_protobuf e to_protobuf Python com o Registro de Esquema em clusters compartilhados.

Suporte a foreachBatch e StreamingListener

Agora você pode usar as APIs foreachBatch() e StreamingListener com Streaming Estruturado em clusters compartilhados. Consulte Usar foreachBatch para gravar em coletores de dados arbitrários e Monitoramento de consultas de Fluxo Estruturado no Azure Databricks.

A simultaneidade em nível de linha está em Disponibilidade Geral e ativada por padrão

A simultaneidade no nível de linha reduz conflitos entre operações de gravação simultâneas com a detecção de alterações no nível da linha. A simultaneidade em nível de linha só tem suporte para tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha está habilitada por padrão nas tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

Compartilhamento Delta: os destinatários podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização Pública)

Os destinatários do Compartilhamento Delta agora podem realizar consultas em lote, CDF e streaming em tabelas compartilhadas que usam vetores de exclusão. No Azure Databricks Runtime 14.1, eles só podem realizar consultas em lote. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de colunas a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado e Ler tabelas com vetores de exclusão ou mapeamento de colunas habilitado.

Clone superficial para tabelas externas do Catálogo do Unity (Visualização Pública)

Agora você pode usar um clone superficial com tabelas externas do Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.

Novo algoritmo de atribuição de cache de disco

O agendador do Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partição entre nós, com atribuição mais rápida inicialmente e após eventos de dimensionamento de cluster. A atribuição de cache mais complicada melhora a consistência entre execuções e reduz os dados movidos durante operações de rebalanceamento.

from_avro com o conector do registro de esquema adiciona suporte para a evolução do esquema

Agora você pode habilitar seus pipelines para reiniciar quando registros evoluídos são detectados. Anteriormente, se a evolução do esquema ocorresse com o conector from_avro, as novas colunas retornariam null. Confira Ler e gravar dados de streaming do Avro.

Coleção de estatísticas multi-threaded mais rápida

A coleta de estatísticas é até 10 vezes mais rápida em clusters pequenos ao executar CONVERT TO DELTA ou na clonagem de tabelas Apache Iceberg e Parquet. Confira Converter para Delta Lake e Tabelas Clone Parquet e Iceberg.

Filtros pushdown nos arquivos DeltaSource no Delta

Para melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são enviados para o Delta antes da limitação de taxa.

Suporte para funções escalares do Scala definidas pelo usuário em clusters compartilhados (Visualização Pública)

Agora você pode usar funções escalares do Scala definidas pelo usuário em clusters habilitados para o Catálogo do Unity e configurados com o modo de acesso compartilhado. Confira Funções escalares definidas pelo usuário – Scala.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • fastjsonschema de 2.18.0 para 2.19.0
  • filelock de 3.12.3 para 3.12.4
  • googleapis-common-protos de 1.60.0 para 1.61.0
• Atualização das bibliotecas do R:
• Bibliotecas do Java atualizadas:

Apache Spark

O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.1 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-45592] [DBRRM-624] Reverter "[SC-146977][sql] Questão de precisão no AQE com InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Reverter "[SC-146319][python][SQL] Suporte inicial para..."
• [SPARK-45433] [DBRRM-621] Revert "[SC-145163][sql] Fix CSV/JSON schema infer...
• [SPARK-45592] [SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec
• [SPARK-45354] Reverter "[SC-143991][sql] Resolver funções de baixo para cima"
• [SPARK-45680] [TEST-ONLY][sasp-2347][CONNECT] Corrigir testes
• [SPARK-45680] Sessão de versão [CONNECT]
• [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir lentidão na leitura do Avro
• [SPARK-45649] [SC-146742][sql] Unificar a estrutura de preparação para OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][python][SQL] Criando StructType do Json
• [SPARK-45620] [SC-146225][python] Corrigir APIs voltadas para o usuário relacionadas ao Python UDTF para usar camelCase
• [SPARK-45727] [SC-146978][ss] Remover mapa não utilizado na simulação de propagação de marca d'água
• [SPARK-45723] [SC-146890][python][CONNECT] Métodos de catálogo evitam a conversão do pandas
• [SPARK-45574] [SC-146106][sql] Adicionar :: sintaxe como uma abreviação para conversão
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit não dá suporte --total-executor-cores ao implantar em K8s
• [SPARK-45661] [SC-146594][sql][PYTHON] Adicionar toNullable em StructType, MapType e ArrayType
• [SPARK-45524] [SC-146319][python][SQL] Suporte inicial para a API de leitura da fonte de dados do Python
• [SPARK-45542] [SC-145892][core] Substituir setSafeMode(HdfsConstants.SafeModeAction, boolean) por setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][sql] SPJ: manipular partições de entrada vazias após a filtragem dinâmica
• [SPARK-45454] [SC-144846][sql] Defina o proprietário padrão da tabela como current_user
• [SPARK-45554] [SC-146875][python] Introduzir parâmetro flexível para assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] Use a ID do DataFrame para validar semanticamente CollectMetrics
• [SPARK-45674] [SC-146862][connect][PYTHON] Melhorar a mensagem de erro para atributos dependentes de JVM no Spark Connect.
• [SPARK-45646] [SC-146276][sql] Remover variáveis de tempo de codificação antes do Hive 2.0
• [SPARK-43380] [SC-146726][es-897115][SQL] Corrigir lentidão na leitura do Avro
• [SPARK-45545] [SC-146484][core] Passe SSLOptions onde quer que criemos um SparkTransportConf
• [SPARK-45641] [SC-146260][ui] Exibir a hora de início do aplicativo em AllJobsPage
• [SPARK-40154] [SC-146491][python][Docs] Nível de armazenamento correto em Dataframe.cache docstring
• [SPARK-45626] [SC-146259][sql] Converter _LEGACY_ERROR_TEMP_1055 para REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][sql] Correção de precisão para subconsultas escalares correlacionadas e aninhadas com agregações de CONTAGEM
• [SPARK-45619] [SC-146226][connect][PYTHON] Aplicar as métricas observadas ao objeto Observação
• [SPARK-45588] [SC-145909][protobuf][CONNECT][minor] Melhoria no Scaladoc para StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][core] Evite ParVector, que não propaga ThreadLocals ou SparkSession
• [SPARK-45604] [SC-146105][sql] Adicionar verificação LogicalType em INT64 –> Conversão DateTime no Parquet Vectorized Reader
• [SPARK-44649] [SC-145891][sql] O filtro de tempo de execução dá suporte à passagem de expressões equivalentes no lado da criação
• [SPARK-41674] [SC-128408][sql] O filtro de tempo de execução deve dar suporte ao lado de junção de embaralhamento de vários níveis para a criação de filtro
• [SPARK-45547] [SC-146228][ml] Validar vetores com função interna
• [SPARK-45558] [SC-145890][ss] Introduzir um arquivo de metadados para o operador com estado de streaming
• [SPARK-45618] [SC-146252][core] Remover BaseErrorHandler
• [SPARK-45638] [SC-146251][sql][Avro] Melhorar a cobertura de teste da conversão decimal
• [SPARK-44837] [SC-146020][sql] Alterar ALTER TABLE mensagem de erro da coluna ALTER PARTITION
• [SPARK-45561] [SC-146264][sql] Adicionar conversões adequadas para TINYINT no MySQLDialect
• [SPARK-45632] [SC-146255][sql] O cache de tabela deve evitar ColumnarToRow desnecessário ao habilitar o AQE
• [SPARK-45569] [SC-145932][sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][connect] Torne o teste hermético do SBT.
• [SPARK-45452] [SC-144836][sql] Aprimorar InMemoryFileIndex para usar API FileSystem.listFiles
• [SPARK-44735] [SC-146186][sql] Adicionar msg de aviso ao inserir colunas com o mesmo nome por linha que não correspondem
• [SPARK-45351] [SC-144791][core] Alterar spark.shuffle.service.db.backend o valor padrão para ROCKSDB
• [SPARK-45553] [SC-145906][ps] Preterir assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] Tornar DeterministicLevel visível como uma API para desenvolvedores
• [SPARK-45549] [SC-145895][core] Remover não utilizado numExistingExecutors em CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] Incluir SqlState na mensagem proto SparkThrowable
• [SPARK-45595] [SC-146037] Expõe o sqlstate na mensagem de erro
• [SPARK-45628] [SC-146123][ml] Aprimorar vector_to_array para .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] Desative a decorrelação nas condições de junção para o teste InSubquery do AQE
• [SPARK-45576] [SC-145883][core] Remover os logs de depuração desnecessários no ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][connect] Aprimoramentos do agente de usuário: Use a variável de ambiente SPARK_CONNECT_USER_AGENT e incluir atributos específicos do ambiente
• [SPARK-45508] [SC-145513][core] Adicione "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que a Plataforma possa acessar o Cleaner no Java 9+
• [SPARK-45595] Reverter “[SC-146037] Expõe o SQLSTATE na mensagem de erro”
• [SPARK-45595] [SC-146037] Expõe o SQLSTATE na mensagem de erro
• [SPARK-45112] Reverter “[SC-143259][sql] Usar UnresolvedFunction base...”
• [SPARK-45257] [SC-143411][core] Habilitar spark.eventLog.compress por padrão
• [SPARK-45586] [SC-145899][sql] Reduzir a latência do compilador para planos com árvores de expressão grandes
• [SPARK-45517] [SC-145691][connect][14.x] Expanda mais construtores de exceção para dar suporte a parâmetros da estrutura de erros
• [SPARK-45581] [SC-145896] Torna o SQLSTATE obrigatório.
• [SPARK-45427] [SC-145590][core] Adicionar configurações de RPC SSL a SSLOptions e SparkTransportConf
• [SPARK-45261] [SC-143357][core] Correção EventLogFileWriters para manipular none como um codec
• [SPARK-45582] [SC-145897][ss] Garanta que a instância de armazenamento não seja usada após a chamada de commit na agregação de streaming no modo de saída
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: tornar 'rowTag' uma opção necessária
• [SPARK-45392] [SC-144362][core][SQL][ss] Substituir Class.newInstance() por Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] Corrigir a inferência de esquema CSV/JSON quando os carimbos de data/hora não correspondem ao formato de carimbo de data/hora especificado.
• [SPARK-45458] [SC-145011][sql] Converter IllegalArgumentException em SparkIllegalArgumentException em bitwiseExpressions
• [SPARK-45564] [SC-145735][sql] Simplificar 'DataFrameStatFunctions.bloomFilter' com a expressão 'BloomFilterAggregate'
• [SPARK-45566] [SC-145777][ps] Suporte a ferramentas de teste semelhantes ao Pandas para a API Pandas no Spark
• [SPARK-45498] [SC-145509][core] Acompanhamento: Ignorar conclusão de tarefa de estágio antigo...
• [SPARK-45483] [SC-145152][conectar] Corrija os grupos de funções em connect.functions
• [SPARK-45577] [SC-145781][python] Corrigir UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
• [SPARK-45009] [SC-138223][acompanhamento] Desative a decorrelação em condições de junção para AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Permite desabilitar seletivamente o "fallocate" no statestore do RocksDB
• [SPARK-45500] [SC-145134][core][WEBUI] Mostrar o número de drivers finalizados anormalmente na página mestre
• [SPARK-44120] [SC-144349][python] Suporte ao Python 3.12
• [SPARK-45439] [SC-145589][sql][interface do usuário] Reduza o uso de memória de LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][ui] Loop desnecessário JSON.stringify e JSON.parse para lista de tarefas em detalhes do estágio
• [SPARK-45567] [SC-145718][connect] Remover 'if' redundante em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] Usar a resolução baseada em UnresolvedFunction em funções SQL Dataset
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] Tornar solicitação add_artifact idempotente
• [SPARK-44913] [SC-144326][sql] DS V2 dá suporte a push down V2 UDF que tem método mágico
• [SPARK-45538] [SC-145635][python][CONNECT] erro de sobrescrição de partições no pyspark connect
• [SPARK-45491] [SC-145622] Adiciona SQLSTATES ausentes 2/2
• [SPARK-45009] [SC-145620][sc-138223][SQL] Decorrelacionar subconsultas de predicado na condição de junção
• [SPARK-45377] [SC-144377][core] Manipular InputStream no NettyLogger
• [SPARK-45248] [SC-143759][core]Definir o tempo limite para o servidor UI do Spark
• [SPARK-44594] [SC-145611][ss] Remover parâmetro de método redundante no conector Kafka
• [SPARK-45539] [SC-145621][ss] Adicionar afirmação e log para indicar que a definição de marca d'água é necessária para consultas de agregação de streaming no modo anexar
• [SPARK-44262] [SC-145639][sql] Adicionar dropTable e getInsertStatement ao JdbcDialect
• [SPARK-45516] [SC-145480][connect] Incluir QueryContext na mensagem proto SparkThrowable
• [SPARK-45310] [SC-145127][núcleo] O status do bloco de embaralhamento de relatório deve respeitar o serviço de embaralhamento durante a migração de encerramento
• [SPARK-45521] [SC-145487][ml] Evite a re computação de nnz em VectorAssembler
• [SPARK-45418] [SC-145485][sql][PYTHON][connect] Altere o alias da coluna current_database() para current_schema()
• [SPARK-45116] [SC-145142][sql] Adicionar algum comentário para o param de JdbcDialect createTable
• [SPARK-45495] [SC-145529] [core] Suporte ao perfil de recurso de tarefa no nível do estágio para o cluster k8s quando a alocação dinâmica desabilitada
• [SPARK-45487] [SC-145559] Corrige o SQLSTATE e os erros temporários
• [SPARK-45505] [SC-145550][python] Refatorar analyzeInPython para torná-lo reutilizável
• [SPARK-45132] [SC-145425][sql] Correção IDENTIFIER para invocação de função
• [SPARK-45213] [SC-145020][sql] Atribuir nome ao erro _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][connect] Verificação de consistência dos resultados no Arrow
• [SPARK-45163] [SC-143386][sql] Mesclar UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION & corrigir algum problema
• [SPARK-45421] [SC-144814][sql] Catch AnalysisException over InlineCTE
• [SPARK-43664] [SC-145404][connect][PS] Gerar exceção para ps.sql o objeto Pandas-on-Spark no Spark Connect.
• [SPARK-45402] [SC-145371][sql][PYTHON] Adicione a API UDTF para os métodos 'eval' e 'terminate', que consomem o resultado anterior de 'analyze'
• [SPARK-36112] [SC-67885] [SQL] Suporte a subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][sql] Corrigir mensagem de erro para viagem no tempo com tabela não existente
• [SPARK-43254] [SC-143318][sql] Atribuir um nome ao erro _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][connect] Adicionar ExecuteHolder opcional ao SparkConnectPlanner
• [SPARK-45451] [SC-145144][sql] Torne configurável o nível de armazenamento padrão do cache do conjunto de dados
• [SPARK-45192] [SC-143194][ui] Correção do parâmetro lineInterpolate vencido para a borda do graphviz
• [SPARK-45467] [SC-145146][core] Substituir Proxy.getProxyClass() por Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] Adicionar transformador de recurso do assembler de matriz
• [SPARK-44855] [SC-145226][connect] Pequenos ajustes para anexar ExecuteGrpcResponseSender ao ExecuteResponseObserver
• [SPARK-45398] [SC-144796][sql] Acrescentar ESCAPE na sql()Like expressão
• [SPARK-45494] [SC-145129][core][PYTHON] Introduza funções úteis para ler/gravar uma matriz de bytes no PythonWorkerUtils
• [SPARK-45464] [SC-145125][core] Corrigir build de distribuição Yarn de rede
• [SPARK-45461] [SC-144851][core][SQL][mllib] Introduza um mapeador para StorageLevel
• [SPARK-45450] [SC-145009][python] Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (núcleo)
• [SPARK-45475] [SC-145018][sql] Usa DataFrame.foreachPartition em vez de RDD.foreachPartition em JdbcUtils
• [SPARK-45271] [SC-143778][sql] Mesclar _LEGACY_ERROR_TEMP_1113 em TABLE_OPERATION e excluir algum método não utilizado em QueryCompilationErrors
• [SPARK-45449] [SC-145013][sql] Problema de invalidação de cache com a tabela JDBC
• [SPARK-45473] [SC-145017][sql] Corrigir mensagem de erro incorreta para RoundBase
• [SPARK-43299] [SC-145022][ss][CONNECT] Converte StreamingQueryException no cliente Scala
• [SPARK-45474] [SC-145014][core][WEBUI] Suporte à filtragem de nível superior na API JSON do MasterPage
• [SPARK-45205] [SC-145012][sql] CommandResultExec deve substituir os métodos de iterador para evitar o acionamento de múltiplos trabalhos.
• [SPARK-45472] [SC-145004][ss] O Repositório de Estado RocksDB não precisa verificar novamente a existência do caminho do ponto de verificação
• [SPARK-45470] [SC-145010][sql] Evite colar o valor da string do tipo de compressão hive orc
• [SPARK-45448] [SC-144829][python] Corrigir importações de acordo com PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
• [SPARK-45446] [SC-144828][python] Corrigir importações de acordo com PEP8: pyspark.errors e pyspark.ml
• [SPARK-45239] [SC-144832][connect] Reduzir o tamanho padrão de spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][python][CONNECT] Os métodos DataFrame verificam a mesma sessão
• [SPARK-45413] [SC-144847][core] Adicionar aviso para preparar a remoção do suporte ao LevelDB
• [SPARK-45462] [SC-144848][core][WEBUI] Mostrar Duration em ApplicationPage
• [SPARK-44527] [SC-144855][sql] Substitua ScalarSubquery por nulo se maxRows for 0
• [SPARK-45401] [SC-144854][python] Adicionar um novo método cleanup na interface UDTF
• [SPARK-43704] [SC-144849][connect][PS] Suporte MultiIndex para to_series()
• [SPARK-45424] [SC-144888][sql] Corrigir TimestampFormatter para retornar resultados opcionais de análise de tempo quando houver apenas correspondência de prefixo
• [SPARK-45441] [SC-144833][python] Introduza mais funções util para PythonWorkerUtils
• [SPARK-45412] [SC-144803][python][CONNECT] Valide o plano e a sessão em DataFrame.__init__
• [SPARK-45408] [SC-144810][core] Adicionar configurações de RPC SSL ao TransportConf
• [SPARK-45432] [SC-144818][core] Remover construtor obsoleto Hadoop-2 LocatedFileStatus
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegression verifica os rótulos de treinamento
• [SPARK-45420] [SC-144808][sql][PYTHON][connect] Adicionar DataType.fromDDL ao PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] Excluir schema do construtor DataFrame
• [SPARK-45404] [SC-144799][core] Variável de env de suporte AWS_ENDPOINT_URL
• [SPARK-43620] [SC-144792][connect][PS] Corrigir APIs do Pandas que dependem de recursos sem suporte
• [SPARK-45354] [SC-143991][sql] Resolver funções de baixo para cima
• [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] Adicionar repetição para a API de artefatos. Aprimore o tratamento de erros (acompanhamento para [SPARK-45093]).
• [SPARK-45120] [SC-142780][spark-45150][interface do usuário] Atualizar d3 da v3 para v7(v7.8.5) e aplicar alterações de api na interface do usuário
• [SPARK-44838] [SC-143983][sql] melhoria na função raise_error
• [SPARK-45312] [SC-143754][sql][interface do usuário] Suporte para exibir/ocultar svg de plano de execução na página de execução
• [SPARK-45378] [SC-144448][core] Adicionar convertToNettyForSsl ao ManagedBuffer
• [SPARK-44762] [SC-144338][connect][CORE] Documento para SparkConnect.adicionarEtiquetaDeTrabalho e Conectar SessãoSpark.adicionarEtiqueta
• [SPARK-45383] Lidar normalmente com RelationTimeTravel não resolvido
• [SPARK-45347] [SC-144512][sql][CONNECT] Inclua SparkThrowable em FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][sql] CheckAnalysis deve lançar um plano embutido em AnalysisException
• [SPARK-45359] [SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} deve gerar exceções quando o plano for inválido
• [SPARK-45227] [SC-144233][core] Corrigir um problema sutil de segurança de thread com CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][python] Refatorar a regra do analisador ResolveFunctions para adiar a realização de junção lateral quando os argumentos da tabela são usados
• [SPARK-45266] Reverter a regra do analisador "[SC-144171][python] Refatorar ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela forem usados"
• [SPARK-45371] [SC-144389][Connect] Corrigir problemas de sombreamento no cliente Scala do Spark Connect
• [SPARK-45057] [SC-144214][core] Evitar adquirir bloqueio de leitura quando keepReadLock é falso
• [SPARK-45385] [SC-144357][sql] Desaprovar spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] Remover a configuração do SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][python] Refatorar a regra do analisador ResolveFunctions para adiar a realização de junção lateral quando os argumentos da tabela são usados
• [SPARK-45362] [SC-144198][python] Projetar PARTITION expressões BY antes que o método 'eval' do Python UDTF as consuma
• [SPARK-45346] [SC-143925][sql] A inferência de esquema Parquet deve respeitar o flag de sensibilidade a maiúsculas e minúsculas ao mesclar esquemas
• [SPARK-45341] [SC-143933][core] Corrija o nível de título nos comentários de KVStore.java para executar sbt doc com êxito com o Java 17
• [SPARK-45334] [SC-143914][sql] Remover comentário enganoso em parquetSchemaConverter
• [SPARK-45337] [SC-143932][core] Refatorar AbstractCommandBuilder#getScalaVersion para remover a verificação do Scala 2.12
• [SPARK-45329] [SC-143918][python][CONNECT] Os métodos DataFrame ignoram a conversão de pandas
• [SPARK-43662] [SC-143923][ps][CONNECT] Suporte merge_asof no Spark Connect
• [SPARK-44126] [SC-143751][núcleo] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino for desativado
• [SPARK-44550] [SC-119768][sql] Habilitar correções de precisão para null IN (empty list) no padrão ANSI
• [SPARK-45316] [SC-143783][core][SQL] Adicionar novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a e HadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] Relatório de erros para consulta addArtifacts
• [SPARK-44756] [SC-143787][core] Executor trava quando RetryingBlockTransferor falha ao iniciar nova tentativa
• [SPARK-45333] [SC-143768][core] Corrigir um erro de unidade relacionado a spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][sql][CONNECT] Tratar nome de arquivo nulo em rastreamentos de pilha de exceções
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId adiciona informações de coluna
• [SPARK-45235] [SC-143314][connect][PYTHON] Suporte a parâmetros de mapa e matriz por sql()
• [SPARK-45138] [SC-143309][ss] Definir uma nova classe de erro e aplicá-la quando o estado de ponto de verificação para DFS falhar
• [SPARK-45297] [SC-143644][sql] Remover solução alternativa para o formatador de data adicionado ao SPARK-31827
• [SPARK-44345] [SC-143593][core] Reduzir o nível de log para WARN se a migração de shuffle estiver habilitada
• [SPARK-44463] [SC-143251][ss][CONNECT] Melhorar o tratamento de erros para o trabalhador Python de streaming do Connect
• [SPARK-45207] [SC-143603][sql][CONNECT] Implementar melhoria do tratamento de erros para o cliente Scala
• [SPARK-45240] [SC-143602][sql][CONNECT] Implementar o enriquecimento de erros para o cliente Python
• [SPARK-45216] [SC-143288][sql] Corrigir APIs de conjunto de dados semeados não determinísticos
• [SPARK-45251] [SC-143419][connect] Adicionar client_type campo para FetchErrorDetails
• [SPARK-45137] [SC-143001][connect] Suporte a parâmetros de mapa/array em consultas parametrizadas sql()
• [SPARK-45224] [SC-143257][python] Adicionar exemplos de mapa e matriz como parâmetros de sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] Implementar FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Fazer fallback para executar um único lote para Trigger.AvailableNow com fontes sem suporte ao invés de usar o wrapper
• [SPARK-44823] [14.x][sc-142979][PYTHON] Atualizar Black para 23.9.1 e corrigir verificação errônea
• [SPARK-45078] [SC-142954][sql] Correção array_insert implicitCastInputTypes não funciona
• [SPARK-44579] [SC-138428][sql] Suporte à interrupção ao cancelar no SQLExecution
• [SPARK-45252] [SC-143371][core] Escape dos símbolos maiores/menores que nos comentários para executar sbt doc com êxito
• [SPARK-45189] [SC-142973][sql] A criação de UnresolvedRelation de TableIdentifier deve incluir o campo catálogo
• [SPARK-45229] [SC-143254][core][interface do usuário] Mostrar o número de drivers aguardando no status SUBMITTED no MasterPage
• [SPARK-43453] Reverter "[SC-143135][ps] Ignorar o names de MultiIndex quando axis=1 para concat"

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 14.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Bibliotecas Python instaladas

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
anyio	3.5.0	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.0.5	atributos	22.1.0	chamada de retorno	0.2.0
beautifulsoup4	4.11.1	preto	22.6.0	alvejante	4.1.0
antolho	1.4	boto3	1.24.28	botocore	1.27.96
certifi	2022.12.7	cffi	1.15.1	chardet	4.0.0
normalizador de conjunto de caracteres	2.0.4	clique	8.0.4	Comunicação	0.1.2
contorno	1.0.5	criptografia	39.0.1	ciclista	0.11.0
Cython	0.29.32	databricks-sdk	0.1.6	dbus-python	1.2.18
debugpy	1.6.7	decorador	5.1.1	defusedxml	0.7.1
distlib	0.3.7	de docstring para markdown	0,11	pontos de entrada	0,4
em execução	0.8.3	Visão geral de facetas	1.1.1	fastjsonschema	2.19.0
bloqueio de arquivo	3.12.4	fonttools	4.25.0	googleapis-common-protos	1.61.0
grpcio	1.48.2	grpcio-status	1.48.1	httplib2	0.20.2
IDNA	3.4	importlib-metadata	4.6.4	ipykernel	6.25.0
ipython	8.14.0	ipython-genutils	0.2.0	ipywidgets (biblioteca Python para widgets interativos)	7.7.2
Jedi	0.18.1	Jeepney	0.7.1	Jinja2	3.1.2
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.17.3
Cliente Jupyter	7.3.4	servidor Jupyter	1.23.4	jupyter_core	5.2.0
jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0	keyring	23.5.0
kiwisolver	1.4.4	launchpadlib	1.10.16	lazr.restfulclient	0.14.4
lazr.uri	1.0.6	lxml	4.9.1	MarkupSafe	2.1.1
matplotlib	3.7.0	matplotlib-inline	0.1.6	Mccabe	0.7.0
Mistune	0.8.4	more-itertools	8.10.0	mypy-extensions	0.4.3
nbclassic	0.5.2	nbclient	0.5.13	nbconvert	6.5.4
nbformat	5.7.0	nest-asyncio	1.5.6	nodeenv	1.8.0
notebook	6.5.2	notebook_shim	0.2.2	numpy	1.23.5
oauthlib	3.2.0	empacotando	22,0	Pandas	1.5.3
pandocfilters	1.5.0	parso	0.8.3	pathspec	0.10.3
Patsy	0.5.3	pexpect	4.8.0	pickleshare	0.7.5
Almofada	9.4.0	caroço	22.3.1	platformdirs	2.5.2
enredo	5.9.0	Pluggy	1.0.0	prometheus-client	0.14.1
kit de ferramentas de prompt	3.0.36	protobuf	4.24.0	psutil	5.9.0
psycopg2	2.9.3	ptyprocess	0.7.0	pure-eval	0.2.2
Pyarrow	8.0.0	pyarrow-hotfix	0,4	pycparser	2.21
pydantic	1.10.6	pyflakes	3.1.0	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.1.1	python-lsp-server (servidor LSP para Python)	1.8.0
pytoolconfig	1.2.5	Pytz	2022.7	pyzmq	23.2.0
solicitações	2.28.1	corda	1.7.0	s3transfer	0.6.2
scikit-aprender	1.1.1	Scipy	1.10.0	seaborn (biblioteca de visualização em Python)	0.12.2
SecretStorage	3.3.1	Send2Trash	1.8.0	Ferramentas de configuração	65.6.3
seis	1.16.0	sniffio	1.2.0	Soupsieve	2.3.2.post1
ssh-import-id	5.11	dados empilhados	0.2.0	statsmodels (biblioteca para modelos estatísticos em Python)	0.13.5
tenacidade	8.1.0	terminado	0.17.1	threadpoolctl	2.2.0
tinycss2	1.2.1	tokenize-rt	4.2.1	tomli	2.0.1
tornado	6.1	traitlets	5.7.1	typing_extensions	4.4.0
ujson	5.4.0	atualizações não supervisionadas	0,1	urllib3	1.26.14
virtualenv	20.16.7	wadllib	1.3.6	wcwidth	0.2.5
codificações web	0.5.1	websocket-client (cliente WebSocket)	0.58.0	whatthepatch	1.0.2
wheel	0.38.4	widgetsnbextension	3.6.1	yapf	0.33.0
zipp	1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 02/10/2023.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
seta	12.0.1	AskPass	1,1	afirme isso	0.2.1
backports	1.4.1	base	4.3.1	base64enc	0.1-3
bit	4.0.5	bit64	4.0.5	blob	1.2.4
ciar	1.3-28	Fabricação de cerveja	1.0-8	Brio	1.1.3
vassoura	1.0.5	bslib	0.5.0	cachem	1.0.8
chamador	3.7.3	sinal de interpolação	6.0-94	Cellranger	1.1.0
crono	2.3-61	classe	7.3-22	Interface de Linha de Comando (CLI)	3.6.1
clipr	0.8.0	relógio	0.7.0	cluster	2.1.4
codetools	0.2-19	espaço de cores	2.1-0	commonmark	1.9.0
compilador	4.3.1	configuração	0.3.1	conflituoso	1.2.0
cpp11	0.4.4	giz de cera	1.5.2	credenciais	1.3.2
encurvar	5.0.1	Tabela de Dados	1.14.8	conjuntos de dados	4.3.1
DBI	1.1.3	dbplyr	2.3.3	Descrição	1.4.2
devtools	2.4.5	diagrama	1.6.5	diffobj	0.3.5
hash	0.6.33	iluminação para baixo	0.4.3	dplyr	1.1.2
dtplyr	1.3.1	e1071	1.7-13	reticências	0.3.2
avaliar	0,21	fansi	1.0.4	cores	2.1.1
fastmap	1.1.1	fontawesome	0.5.1	para gatos	1.0.0
para cada	1.5.2	estrangeiro	0.8-82	forja	0.2.0
fs	1.6.2	futuro	1.33.0	future.apply	1.11.0
gargarejar	1.5.1	genéricos	0.1.3	Gert	1.9.2
ggplot2	3.4.2	Gh	1.4.0	gitcreds	0.1.2
glmnet	4.1-7	globais	0.16.2	cola	1.6.2
googledrive	2.1.1	googlesheets4	1.1.1	Gower	1.0.1
elemento gráfico	4.3.1	grDevices	4.3.1	grade	4.3.1
gridExtra	2.3	gsubfn	0,7	gtable	0.3.3
capacete de segurança	1.3.0	refúgio	2.5.3	mais alto	0,10
Hms	1.1.3	ferramentas HTML	0.5.5	htmlwidgets	1.6.2
httpuv	1.6.11	httr	1.4.6	httr2	0.2.3
Identificadores	1.0.1	ini	0.3.1	ipred	0.9-14
isoband	0.2.7	Iteradores	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	KernSmooth	2.23-21	knitr	1.43
rotulagem	0.4.2	posterior	1.3.1	treliça	0.21-8
lava vulcânica	1.7.2.1	ciclo de vida	1.0.3	ouça	0.9.0
lubrificado	1.9.2	magrittr	2.0.3	redução de preço	1,7
MISSA	7.3-60	Matriz	1.5-4.1	memorizar	2.0.1
métodos	4.3.1	mgcv	1.8-42	mímica	0,12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelador	0.1.11
munsell	0.5.0	nlme	3.1-162	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.0.6	paralelo	4.3.1
paralelamente	1.36.0	coluna	1.9.0	pkgbuild	1.4.2
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2.1
plogr	0.2.0	plyr	1.8.8	elogio	1.0.0
prettyunits	1.1.1	pROC	1.18.4	processx	3.8.2
Prodlim	2023.03.31	profvis	0.3.8	progresso	1.2.2
progressr	0.13.0	Promessas	1.2.0.1	proto	1.0.0
proxy	0.4-27	P.S.	1.7.5	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
randomForest	4.7-1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
Readr	2.1.4	readxl	1.4.3	Receitas	1.0.6
jogo de revanche	1.0.1	revanche2	2.1.2	Controles remotos	2.4.2
exemplo reprodutível (reprex)	2.0.2	remodelar2	1.4.4	rlang	1.1.1
rmarkdown	2.23	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-11
RSQLite	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
rvest	1.0.3	Sass	0.4.6	escamas	1.2.1
Seletor	0.4-2	informações de sessão	1.2.2	forma	1.4.6
brilhante	1.7.4.1	sourcetools	0.1.7-1	sparklyr	1.8.1
espacial	7.3-15	Splines	4.3.1	sqldf	0.4-11
SQUAREM	2021.1	estatísticas	4.3.1	estatísticas4	4.3.1
stringi	1.7.12	stringr	1.5.0	sobrevivência	3.5-5
sys	3.4.2	systemfonts	1.0.4	tcltk	4.3.1
testthat	3.1.10	formatação de texto	0.3.6	tibble	3.2.1
tidyr	1.3.0	tidyselect	1.2.0	tidyverse	2.0.0
mudança de horário	0.2.0	data e hora	4022.108	tinytex	0,45
Ferramentas	4.3.1	tzdb	0.4.0	verificador de URL	1.0.1
usethis	2.2.2	utf8	1.2.3	utilitários	4.3.1
identificador único universal (UUID)	1.1-0	vctrs	0.6.3	viridisLite	0.4.2
Vroom	1.6.3	Waldo	0.5.1	vibrissa	0.4.1
murchar	2.5.0	xfun	0.39	xml2	1.3.5
xopen	1.0.0	xtable	1.8-4	YAML	2.3.7
zíper	2.3.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo	ID do artefato	Versão
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity (pacote de identidade Cognito para Java da AWS)	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect (SDK Java da AWS para conexão direta)	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	SDK Java para o ECS da AWS	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam (kit de desenvolvimento de software Java da AWS para IAM)	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning (SDK da AWS para aprendizado de máquina)	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support (suporte para AWS Java SDK)	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	fluxo	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.7.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo sombreado	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	colega de classe	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.15.1
com.fasterxml.jackson.datatype	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.datatype	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.cafeína	cafeína	2.9.3
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	1.1-nativos
com.github.fommil.netlib	sistema_nativo-java	1,1
com.github.fommil.netlib	sistema_nativo-java	1.1-nativos
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-nativos
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-nativos
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	Sininho	1.9.0
com.google.errorprone	anotações_propensas_a_erros	2.10.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	goiaba	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	criador de perfil	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	VERSÃO.0.8.0.
com.lihaoyi	código-fonte_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lentes_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections (coleções comuns)	commons-collections (coleções comuns)	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	compressor de ar	0,25
io.delta	delta-sharing-client_2.12	1.0.2
io.dropwizard.metrics	anotação de métricas	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	métricas-verificações de saúde	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json (métricas em JSON)	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	Netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty-common	4.1.96.Final
io.netty	netty-handler	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	Netty Resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	Netty Tcnative Classes	2.0.61.Final
io.netty	netty-transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-comum	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	coletor	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	API de transação	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	picles	1,3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	formiga	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	lançador de formigas	1.9.16
org.apache.arrow	formato de seta	12.0.1
org.apache.arrow	seta-memória-core	12.0.1
org.apache.arrow	Arrow-Memory-Netty	12.0.1
org.apache.arrow	vetor de seta	12.0.1
org.apache.avro	Avro	1.11.2
org.apache.avro	avro-ipc	1.11.2
org.apache.avro	avro-mapred	1.11.2
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	Texto Comum	1.10.0
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	estrutura do curador	2.13.0
org.apache.curator	curador de receitas	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	Derby	10.14.2.0
org.apache.hadoop	tempo de execução do cliente Hadoop	3.3.6
org.apache.hive	hive-beeline (ferramenta de linha de comando para conectar-se ao Hive)	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	API de armazenamento do Hive	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	Agendador de Ajustes do Hive (hive-shims-scheduler)	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	hera	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.20.0
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	Mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.9.1-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.1-shaded-protobuf
org.apache.orc	orc-calços	1.9.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4.23
org.apache.yetus	comentários da audiência	0.13.0
org.apache.zookeeper	zelador de zoológico	3.6.3
org.apache.zookeeper	guarda de zoológico-juta	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	Continuação do Jetty (jetty-continuation)	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	segurança do jetty	9.4.52.v20230823
org.eclipse.jetty	servidor jetty	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	Jetty Webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	API de WebSocket	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client (cliente WebSocket)	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	servidor WebSocket	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	Localizador de Recursos OSGi	1.0.3
org.glassfish.hk2.external	AliançaAOP-Reempacotado	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2,40
org.glassfish.jersey.containers	jersey-container-servlet-core	2,40
org.glassfish.jersey.core	jersey-client	2,40
org.glassfish.jersey.core	jersey-comum	2,40
org.glassfish.jersey.core	jersey-server	2,40
org.glassfish.jersey.inject	jersey-hk2	2,40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Anotações	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	cliente Java do MariaDB	2.7.9
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.0
org.roaringbitmap	RoaringBitmap	0.9.45
org.roaringbitmap	Calços	0.9.45
org.rocksdb	rocksdbjni	8.3.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.9.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	interface de teste	1,0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	compatível com scalatest	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2,0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
Stax	stax-api	1.0.1