Tempo de execução do Databricks 14.2

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.2, desenvolvido pelo Apache Spark 3.5.0.

A Databricks divulgou essas imagens em novembro de 2023.

Novos recursos e melhorias

CACHE SELECT agora é ignorado

O comando CACHE SELECT SQL agora é ignorado em favor de um algoritmo de cache aprimorado. Consulte Otimizar o desempenho com cache no Azure Databricks.

Corrigido tratamento de arquivos corrompidos em comandos DML

Os comandos DELETEDML , UPDATEe MERGE INTO não respeitam mais as opções ignoreCorruptFiles de leitura e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falham, mesmo que essas opções sejam especificadas.

Agora você pode usar as funções , , e to_protobuf Python com o from_avroRegistro de Esquema em clusters compartilhadosfrom_protobuf. to_avro

foreachBatch e StreamingListener apoio

Agora você pode usar as foreachBatch() APIs e StreamingListener com Streaming Estruturado em clusters compartilhados. Consulte Usar foreachBatch para gravar em coletores de dados arbitrários e Monitoramento de consultas de Streaming Estruturado no Azure Databricks.

A simultaneidade no nível da linha está geralmente disponível e ativada por padrão

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas detetando alterações no nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha é habilitada por padrão em tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

Compartilhamento Delta: os destinatários podem executar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização pública)

Os destinatários do Delta Sharing agora podem executar consultas em lote, CDF e streaming em tabelas compartilhadas que usam vetores de exclusão. No Databricks Runtime 14.1, eles só podem executar consultas em lote. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de coluna a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado e Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado.

Clone superficial para tabelas externas do Unity Catalog (Visualização pública)

Agora você pode usar clones superficiais com tabelas externas do Unity Catalog. Consulte Clone superficial para tabelas do Catálogo Unity.

Novo algoritmo de atribuição de cache de disco

O agendador do Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partições entre nós, com atribuição mais rápida tanto inicialmente quanto após eventos de dimensionamento de cluster. A atribuição de cache mais aderente melhora a consistência entre as execuções e reduz os dados movidos durante as operações de reequilíbrio.

from_avro Com o Schema Registry Connector adiciona suporte para a evolução do esquema

Agora você pode habilitar seus pipelines para reiniciar quando registros evoluídos forem detetados. Anteriormente, se a evolução do esquema acontecesse com o from_avro conector, as novas colunas retornariam null. Consulte Ler e gravar dados Avro de streaming.

Recolha de estatísticas multi-threaded mais rápida

A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou clonar a partir de tabelas Iceberg e Parquet. Veja as tabelas Converter para Delta Lake e Clone Parquet e Iceberg.

Filtros pushdown no DeltaSource em arquivos Delta

Para uma melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são empurrados para Delta antes do limite de taxa.

Suporte para funções escalares definidas pelo usuário Scala em clusters compartilhados (Visualização pública)

Agora você pode usar funções escalares definidas pelo usuário Scala em clusters habilitados para Unity Catalog configurados com o modo de acesso compartilhado. Consulte Funções escalares definidas pelo usuário - Scala.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • fastjsonschema de 2.18.0 a 2.19.0
    • filelock de 3.12.3 a 3.12.4
    • googleapis-common-protos de 1.60.0 a 1.61.0
  • Bibliotecas R atualizadas:
  • Bibliotecas Java atualizadas:

Faísca Apache

O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.1, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-45592] [DBRRM-624] Reverter "[SC-146977][SQL] Correção problema no AQE com InMemoryTableScanExec"
  • [FAÍSCA-45524] [DBRRM-625] Revert "[SC-146319][PYTHON][SQL] Suporte inicial f...
  • [FAÍSCA-45433] [DBRRM-621] Reverter "[SC-145163][SQL] Corrigir inferência de esquema CSV/JSON...
  • [FAÍSCA-45592] [SC-146977] [SQL] Problema de correção no AQE com InMemoryTableScanExec
  • [FAÍSCA-45354] Reverter "[SC-143991][SQL] Resolver funções de baixo para cima"
  • [FAÍSCA-45680] [APENAS TESTE] [SASP-2347] [CONECTAR] Corrigir testes
  • [FAÍSCA-45680] [CONECTAR] Sessão de lançamento
  • [FAÍSCA-43380] [SC-146726] [ES-897115] [SQL] Corrigir lentidão no Avro read
  • [FAÍSCA-45649] [SC-146742] [SQL] Unificar o quadro de preparação para OffsetWindowFunctionFrame
  • [FAÍSCA-40820] [SC-146727] [PYTHON] [SQL] Criando StructType a partir de Json
  • [FAÍSCA-45620] [SC-146225] [PYTHON] Corrija APIs voltadas para o usuário relacionadas ao Python UDTF para usar camelCase
  • [FAÍSCA-45727] [SC-146978] [SS] Remover mapa não utilizado na simulação de propagação de marca d'água
  • [FAÍSCA-45723] [SC-146890] [PYTHON] [CONECTAR] Os métodos de catálogo evitam a conversão de pandas
  • [FAÍSCA-45574] [SC-146106] [SQL] Adicionar :: sintaxe como uma abreviatura para transmissão
  • [FAÍSCA-45670] [SC-146725] [CORE] [3.5] O SparkSubmit não suporta --total-executor-cores a implementação no K8s
  • [FAÍSCA-45661] [SC-146594] [SQL] [PYTHON] Adicionar toNullable em StructType, MapType e ArrayType
  • [FAÍSCA-45524] [SC-146319] [PYTHON] [SQL] Suporte inicial para API de leitura de fonte de dados Python
  • [FAÍSCA-45542] [SC-145892] [CORE] Substitua setSafeMode(HdfsConstants.SafeModeAction, boolean) por setSafeMode(SafeModeAction, boolean)
  • [FAÍSCA-45652] [SC-146641] [SQL] SPJ: Manipular partições de entrada vazias após filtragem dinâmica
  • [FAÍSCA-45454] [SC-144846] [SQL] Defina o proprietário padrão da tabela como current_user
  • [FAÍSCA-45554] [SC-146875] [PYTHON] Introduza parâmetros flexíveis para assertSchemaEqual
  • [FAÍSCA-45242] [SC-143410] [SQL] Usar DataFrame ID para validar semanticamente CollectMetrics
  • [FAÍSCA-45674] [SC-146862] [CONECTAR] [PYTHON] Melhore a mensagem de erro para atributos dependentes da JVM no Spark Connect.
  • [FAÍSCA-45646] [SC-146276] [SQL] Remover variáveis de tempo de hardcoding anteriores ao Hive 2.0
  • [FAÍSCA-43380] [SC-146726] [ES-897115] [SQL] Corrigir lentidão no Avro read
  • [FAÍSCA-45545] [SC-146484] [CORE] Passe SSLOptions onde quer que criemos um SparkTransportConf
  • [FAÍSCA-45641] [SC-146260] [UI] Exibir a hora de início do aplicativo em AllJobsPage
  • [FAÍSCA-40154] [SC-146491] [Python] [Documentos] Corrigir o nível de armazenamento em Dataframe.cache docstring
  • [FAÍSCA-45626] [SC-146259] [SQL] Converter _LEGACY_ERROR_TEMP_1055 em REQUIRES_SINGLE_PART_NAMESPACE
  • [FAÍSCA-45507] [SC-145900] [SQL] Correção de correção para subconsultas escalares correlacionadas aninhadas com agregados COUNT
  • [FAÍSCA-45619] [SC-146226] [CONECTAR] [PYTHON] Aplicar as métricas observadas ao objeto Observação
  • [FAÍSCA-45588] [SC-145909] [PROTOBUF] [CONECTAR] [MENOR] Melhoria do Scaladoc para StreamingForeachBatchHelper
  • [FAÍSCA-45616] [SC-146120] [CORE] Evite ParVector, que não propaga ThreadLocals ou SparkSession
  • [FAÍSCA-45604] [SC-146105] [SQL] Adicionar verificação LogicalType em INT64 -> conversão DateTime no Parquet Vectorized Reader
  • [FAÍSCA-44649] [SC-145891] [SQL] O Runtime Filter suporta a passagem de expressões de lado de criação equivalentes
  • [FAÍSCA-41674] [SC-128408] [SQL] O filtro de tempo de execução deve suportar o lado da junção de shuffle de vários níveis como o lado da criação do filtro
  • [FAÍSCA-45547] [SC-146228] [ML] Validar vetores com função integrada
  • [FAÍSCA-45558] [SC-145890] [SS] Introduzir um arquivo de metadados para o operador stateful de streaming
  • [FAÍSCA-45618] [SC-146252] [CORE] Remover BaseErrorHandler
  • [FAÍSCA-45638] [SC-146251] [SQL] [Avro] Melhorar a cobertura de teste da conversão decimal
  • [FAÍSCA-44837] [SC-146020] [SQL] Alterar mensagem de erro da coluna ALTER TABLE ALTER PARTITION
  • [FAÍSCA-45561] [SC-146264] [SQL] Adicione conversões adequadas para TINYINT no MySQLDialect
  • [FAÍSCA-45632] [SC-146255] [SQL] O cache de tabela deve evitar ColumnarToRow desnecessário ao habilitar o AQE
  • [FAÍSCA-45569] [SC-145932] [SQL] Atribuir nome ao _LEGACY_ERROR_TEMP_2152 de erro
  • [FAÍSCA-44784] [SC-141015] [CONECTAR] Tornar herméticos os testes do SBT.
  • [FAÍSCA-45452] [SC-144836] [SQL] Melhorar InMemoryFileIndex para usar FileSystem.listFiles a API
  • [FAÍSCA-44735] [SC-146186] [SQL] Adicionar mensagem de aviso ao inserir colunas com o mesmo nome por linha que não correspondem
  • [FAÍSCA-45351] [SC-144791] [CORE] Alterar spark.shuffle.service.db.backend o valor padrão para ROCKSDB
  • [FAÍSCA-45553] [SC-145906] [PS] Depreciar assertPandasOnSparkEqual
  • [FAÍSCA-45613] [SC-146022] [CORE] Expor DeterministicLevel como um DeveloperApi
  • [FAÍSCA-45549] [SC-145895] [CORE] Remover não utilizado numExistingExecutors em seringa CoarseGrainedSchedulerBackend
  • [FAÍSCA-45609] [SC-146030] [CONECTAR] Incluir SqlState na mensagem proto SparkThrowable
  • [FAÍSCA-45595] [SC-146037] expor sqlstate na mensagem de erro
  • [FAÍSCA-45628] [SC-146123] [ML] Melhorar vector_to_array para .mllib.linalg.SparseVector
  • [FAÍSCA-45009] [SC-145884] [SQL] [ACOMPANHE] Desativar a descorrelação nas condições de junção para o teste AQE InSubquery
  • [FAÍSCA-45576] [SC-145883] [CORE] Remova logs de depuração desnecessários no ReloadingX509TrustManagerSuite
  • [FAÍSCA-45485] [SC-145719] [CONECTAR] Melhorias no agente do usuário: use SPARK_CONNECT_USER_AGENT variável env e inclua atributos específicos do ambiente
  • [FAÍSCA-45508] [SC-145513] [CORE] Adicione "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que a plataforma possa acessar o Cleaner no Java 9+
  • [FAÍSCA-45595] Reverter "[SC-146037] Expor SQLSTATE na mensagem de erro"
  • [FAÍSCA-45595] [SC-146037] Expor SQLSTATE na mensagem de erro
  • [FAÍSCA-45112] Revert "[SC-143259][SQL] Use UnresolvedFunction ba...
  • [FAÍSCA-45257] [SC-143411] [CORE] Ativar spark.eventLog.compress por padrão
  • [FAÍSCA-45586] [SC-145899] [SQL] Reduza a latência do compilador para planos com grandes árvores de expressão
  • [FAÍSCA-45517] [SC-145691] [CONECTAR] [14.x] Expandir mais construtores de exceção para dar suporte a parâmetros de estrutura de erro
  • [FAÍSCA-45581] [SC-145896] Torne o SQLSTATE obrigatório.
  • [FAÍSCA-45427] [SC-145590] [CORE] Adicionar configurações de RPC SSL a SSLOptions e SparkTransportConf
  • [FAÍSCA-45261] [SC-143357] [CORE] Correção EventLogFileWriters para manipular none como um codec
  • [FAÍSCA-45582] [SC-145897] [SS] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída
  • [FAÍSCA-45562] [SC-145720] [SC-144650] [SQL] XML: Tornar 'rowTag' uma opção obrigatória
  • [FAÍSCA-45392] [SC-144362] [CORE] [SQL] [SS] Substitua Class.newInstance() por Class.getDeclaredConstructor().newInstance()
  • [FAÍSCA-45433] [SC-145163] [SQL] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado
  • [FAÍSCA-45458] [SC-145011] [SQL] Converter IllegalArgumentException em SparkIllegalArgumentException em bitwiseExpressions
  • [FAÍSCA-45564] [SC-145735] [SQL] Simplifique 'DataFrameStatFunctions.bloomFilter' com a expressão 'BloomFilterAggregate'
  • [FAÍSCA-45566] [SC-145777] [PS] Suporta utilitários de teste semelhantes ao Pandas para a API do Pandas no Spark
  • [FAÍSCA-45498] [SC-145509] [CORE] Acompanhamento: Ignorar a conclusão de tarefas do estágio antigo...
  • [FAÍSCA-45483] [SC-145152] [CONECTAR] Corrija os grupos de funções em connect.functions
  • [FAÍSCA-45577] [SC-145781] [PYTHON] Corrija UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
  • [FAÍSCA-45009] [SC-138223] [ACOMPANHE] Desativar a descorrelação nas condições de junção para AetherSQLQuerySuite
  • [FAÍSCA-45415] [SC-145344] Permitir a desativação seletiva de "fallocate" no statestore RocksDB
  • [FAÍSCA-45500] [SC-145134] [CORE] [WEBUI] Mostrar o número de drivers anormalmente concluídos na MasterPage
  • [FAÍSCA-44120] [SC-144349] [PYTHON] Suporte Python 3.12
  • [FAÍSCA-45439] [SC-145589] [SQL] [UI] Reduza o uso de memória de LiveStageMetrics.accumIdsToMetricType
  • [FAÍSCA-45565] [SC-145717] [UI] Loop JSON.stringify e JSON.parse desnecessários para lista de tarefas em detalhes do palco
  • [FAÍSCA-45567] [SC-145718] [CONECTAR] Remover redundante se em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [FAÍSCA-45112] [SC-143259] [SQL] Usar a resolução baseada em UnresolvedFunction em funções de conjunto de dados SQL
  • [FAÍSCA-45486] [SASP-2457] [SC-145612] [CONECTAR] Faça add_artifact pedido idempotente
  • [FAÍSCA-44913] [SC-144326] [SQL] DS V2 suporta push down V2 UDF que tem método mágico
  • [FAÍSCA-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions bug
  • [FAÍSCA-45491] [SC-145622] Adicionar SQLSTATES 2/2 ausentes
  • [FAÍSCA-45009] [SC-145620] [SC-138223] [SQL] Decorar subconsultas de predicados na condição de junção
  • [FAÍSCA-45377] [SC-144377] [CORE] Manipular InputStream no NettyLogger
  • [FAÍSCA-45248] [SC-143759] [CORE] Definir o tempo limite para o spark ui server
  • [FAÍSCA-44594] [SC-145611] [SS] Remover parâmetro de método redundante no conector kafka
  • [FAÍSCA-45539] [SC-145621] [SS] Adicionar declaração e log para indicar que a definição de marca d'água é necessária para consultas de agregação de streaming no modo de acréscimo
  • [FAÍSCA-44262] [SC-145639] [SQL] Adicionar dropTable e getInsertStatement para JdbcDialect
  • [FAÍSCA-45516] [SC-145480] [CONECTAR] Incluir QueryContext na mensagem proto SparkThrowable
  • [FAÍSCA-45310] [SC-145127] [CORE] O status do bloco de embaralhamento de relatório deve respeitar o serviço de shuffle durante a migração de desativação
  • [FAÍSCA-45521] [SC-145487] [ML] Evite o recálculo de nnz em VectorAssembler
  • [FAÍSCA-45418] [SC-145485] [SQL] [PYTHON] [CONECTAR] Alterar o alias da coluna current_database() para current_schema()
  • [FAÍSCA-45116] [SC-145142] [SQL] Adicionar algum comentário para param of JdbcDialect createTable
  • [FAÍSCA-45495] [SC-145529] [núcleo] Suporte ao perfil de recurso de tarefa de nível de estágio para cluster k8s quando a alocação dinâmica estiver desativada
  • [FAÍSCA-45487] [SC-145559] Corrigir SQLSTATEs e erros temporários
  • [FAÍSCA-45505] [SC-145550] [PYTHON] Refatore analyzeInPython para torná-lo reutilizável
  • [FAÍSCA-45132] [SC-145425] [SQL] Corrigir IDENTIFICADOR para invocação de função
  • [FAÍSCA-45213] [SC-145020] [SQL] Atribuir nome ao _LEGACY_ERROR_TEMP_2151 de erro
  • [FAÍSCA-45416] [SC-145126] [CONECTAR] Verificação de sanidade da consistência dos resultados da seta
  • [FAÍSCA-45163] [SC-143386] [SQL] Mesclar UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION & corrigir algum problema
  • [FAÍSCA-45421] [SC-144814] [SQL] Análise de capturaExceção sobre InlineCTE
  • [FAÍSCA-43664] [SC-145404] [CONECTAR] [PS] Gerar exceção para ps.sql com o objeto Pandas-on-Spark no Spark Connect.
  • [FAÍSCA-45402] [SC-145371] [SQL] [PYTHON] Adicione a API UDTF para métodos 'eval' e 'terminate' para consumir o resultado anterior de 'analyze'
  • [FAÍSCA-36112] [SC-67885] [SQL] Suporte a subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
  • [FAÍSCA-45383] [SC-144929] [SQL] Corrigir mensagem de erro para viagem no tempo com tabela não existente
  • [FAÍSCA-43254] [SC-143318] [SQL] Atribuir um nome à _LEGACY_ERROR_TEMP_2018 de erro
  • [FAÍSCA-45204] [SC-145167] [CONECTAR] Adicionar ExecuteHolder opcional ao SparkConnectPlanner
  • [FAÍSCA-45451] [SC-145144] [SQL] Torne o nível de armazenamento padrão do cache do conjunto de dados configurável
  • [FAÍSCA-45192] [SC-143194] [UI] Corrigir parâmetro lineInterpolate atrasado para borda graphviz
  • [FAÍSCA-45467] [SC-145146] [CORE] Substitua Proxy.getProxyClass() por Proxy.newProxyInstance().getClass
  • [FAÍSCA-45397] [SC-145139] [ML] [CONECTAR] Adicionar transformador de recurso de montagem de matriz
  • [FAÍSCA-44855] [SC-145226] [CONECTAR] Pequenos ajustes para anexar ExecuteGrpcResponseSender a ExecuteResponseObserver
  • [FAÍSCA-45398] [SC-144796] [SQL] Acrescentar ESCAPE da sql()Like expressão
  • [FAÍSCA-45494] [SC-145129] [CORE] [PYTHON] Introduzir funções util para ler/gravar uma matriz de bytes para PythonWorkerUtils
  • [FAÍSCA-45464] [SC-145125] [CORE] Corrigir compilação de distribuição de fio de rede
  • [FAÍSCA-45461] [SC-144851] [CORE] [SQL] [MLLIB] Introduzir um mapeador para StorageLevel
  • [FAÍSCA-45450] [SC-145009] [PYTHON] Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (core)
  • [FAÍSCA-45475] [SC-145018] [SQL] Usa DataFrame.foreachPartition em vez de RDD.foreachPartition em JdbcUtils
  • [FAÍSCA-45271] [SC-143778] [SQL] Mesclar _LEGACY_ERROR_TEMP_1113 em TABLE_OPERATION & excluir algum método não utilizado em QueryCompilationErrors
  • [FAÍSCA-45449] [SC-145013] [SQL] Problema de invalidação de cache com a tabela JDBC
  • [FAÍSCA-45473] [SC-145017] [SQL] Corrigir mensagem de erro incorreta para RoundBase
  • [FAÍSCA-43299] [SC-145022] [SS] [CONECTAR] Converter StreamingQueryException no cliente Scala
  • [FAÍSCA-45474] [SC-145014] [CORE] [WEBUI] Suporte a filtragem de nível superior na API JSON do MasterPage
  • [FAÍSCA-45205] [SC-145012] [SQL] CommandResultExec para substituir métodos iteradores para evitar o acionamento de vários trabalhos.
  • [FAÍSCA-45472] [SC-145004] [SS] RocksDB State Store não precisa verificar novamente a existência do caminho do ponto de verificação
  • [FAÍSCA-45470] [SC-145010] [SQL] Evite colar o valor da cadeia de caracteres do tipo de compressão orc hive
  • [FAÍSCA-45448] [SC-144829] [PYTHON] Corrigir importações de acordo com PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
  • [FAÍSCA-45446] [SC-144828] [PYTHON] Corrigir importações de acordo com PEP8: pyspark.errors e pyspark.ml
  • [FAÍSCA-45239] [SC-144832] [CONECTAR] Reduza o padrão spark.connect.jvmStacktrace.maxSize
  • [FAÍSCA-45436] [SC-144831] [PYTHON] [CONECTAR] Os métodos DataFrame verificam a mesma sessão
  • [FAÍSCA-45413] [SC-144847] [CORE] Adicionar aviso para preparar o suporte ao LevelDB drop
  • [FAÍSCA-45462] [SC-144848] [CORE] [WEBUI] Mostrar Duration em ApplicationPage
  • [FAÍSCA-44527] [SC-144855] [SQL] Substitua ScalarSubquery por null se seu maxRows for 0
  • [FAÍSCA-45401] [SC-144854] [PYTHON] Adicionar um novo método cleanup na interface UDTF
  • [FAÍSCA-43704] [SC-144849] [CONECTAR] [PS] Suporte MultiIndex para to_series()
  • [FAÍSCA-45424] [SC-144888] [SQL] Fix TimestampFormatter retorna resultados de análise opcionais quando apenas o prefixo corresponde
  • [FAÍSCA-45441] [SC-144833] [PYTHON] Introduza mais funções util para PythonWorkerUtils
  • [FAÍSCA-45412] [SC-144803] [PYTHON] [CONECTAR] Valide o plano e a sessão em DataFrame.__init__
  • [FAÍSCA-45408] [SC-144810] [CORE] Adicionar configurações de SSL RPC ao TransportConf
  • [FAÍSCA-45432] [SC-144818] [CORE] Remover construtor Hadoop-2 LocatedFileStatus preterido
  • [FAÍSCA-45434] [SC-144819] [ML] [CONECTAR] LogisticRegression verifica os rótulos de treinamento
  • [FAÍSCA-45420] [SC-144808] [SQL] [PYTHON] [CONECTAR] Adicionar DataType.fromDDL ao PySpark
  • [FAÍSCA-45406] [SC-144793] [PYTHON] [CONECTAR] Excluir schema do construtor DataFrame
  • [FAÍSCA-45404] [SC-144799] [CORE] Suporte AWS_ENDPOINT_URL env variável
  • [FAÍSCA-43620] [SC-144792] [CONECTAR] [PS] Corrigir APIs do Pandas depende de recursos não suportados
  • [FAÍSCA-45354] [SC-143991] [SQL] Resolver funções de baixo para cima
  • [FAÍSCA-45394] [SASP-1480] [SC-144712] [PYTHON] [CONECTAR] Adicione novas tentativas para a API de artefato. Melhorar o tratamento de erros (acompanhamento de [SPARK-45093]).
  • [FAÍSCA-45120] [SC-142780] [FAÍSCA-45150] [UI] Atualize o d3 de v3 para v7 (v7.8.5) e aplique alterações de api na interface do usuário
  • [FAÍSCA-44838] [SC-143983] [SQL] raise_error melhoria
  • [FAÍSCA-45312] [SC-143754] [SQL] [UI] Suporte alternar exibir / ocultar plano svg na página de execução
  • [FAÍSCA-45378] [SC-144448] [CORE] Adicionar convertToNettyForSsl a ManagedBuffer
  • [FAÍSCA-44762] [SC-144338] [CONECTAR] [CORE] Doc para SparkConnect.addJobTag e Connect SparkSession.addTag
  • [FAÍSCA-45383] Lidar com RelationTimeTravel não resolvido graciosamente
  • [FAÍSCA-45347] [SC-144512] [SQL] [CONECTAR] Incluir SparkThrowable em FetchErrorDetailsResponse
  • [FAÍSCA-45012] [SC-141512] [SQL] CheckAnalysis deve lançar plano embutido em AnalysisException
  • [FAÍSCA-45359] [SC-144336] [PYTHON] [CONECTAR] DataFrame.{columns, colRegex, explain} deve levantar exceções quando o plano é inválido
  • [FAÍSCA-45227] [SC-144233] [CORE] Corrija um problema sutil de segurança de threads com CoarseGrainedExecutorBackend
  • [FAÍSCA-45266] [SC-144171] [PYTHON] Regra do analisador Refactor ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são usados
  • [FAÍSCA-45266] Reverter "[SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used"
  • [FAÍSCA-45371] [SC-144389] [CONECTAR] Corrigir problemas de sombreamento no cliente Spark Connect Scala
  • [FAÍSCA-45057] [SC-144214] [CORE] Evite adquirir bloqueio de leitura quando keepReadLock é falso
  • [FAÍSCA-45385] [SC-144357] [SQL] Depreciar spark.sql.parser.escapedStringLiterals
  • [FAÍSCA-45340] [SC-143917] [SQL] Remover a configuração do SQL spark.sql.hive.verifyPartitionPath
  • [FAÍSCA-45266] [SC-144171] [PYTHON] Regra do analisador Refactor ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são usados
  • [FAÍSCA-45362] [SC-144198] [PYTHON] Projete expressões PARTITION BY antes que o método Python UDTF 'eval' as consuma
  • [FAÍSCA-45346] [SC-143925] [SQL] A inferência do esquema de Parquet deve respeitar o sinalizador sensível a maiúsculas e minúsculas ao mesclar o esquema
  • [FAÍSCA-45341] [SC-143933] [CORE] Corrija o nível de título nos comentários de KVStore.java para fazer sbt doc a execução com sucesso com o Java 17
  • [FAÍSCA-45334] [SC-143914] [SQL] Remover comentário enganoso em parquetSchemaConverter
  • [FAÍSCA-45337] [SC-143932] [CORE] Refatorar AbstractCommandBuilder#getScalaVersion para remover a verificação do Scala 2.12
  • [FAÍSCA-45329] [SC-143918] [PYTHON] [CONECTAR] Os métodos DataFrame ignoram a conversão de pandas
  • [FAÍSCA-43662] [SC-143923] [PS] [CONECTAR] Suporte merge_asof no Spark Connect
  • [FAÍSCA-44126] [SC-143751] [CORE] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino for desativado
  • [FAÍSCA-44550] [SC-119768] [SQL] Habilite correções de correção para null IN (empty list) sob ANSI
  • [FAÍSCA-45316] [SC-143783] [CORE] [SQL] Adicionar novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD
  • [FAÍSCA-45093] [SC-143414] [CONECTAR] [PYTHON] Relatório de erros para consulta addArtifacts
  • [FAÍSCA-44756] [SC-143787] [CORE] O executor trava quando RetryingBlockTransferor falha ao iniciar a repetição
  • [FAÍSCA-45333] [SC-143768] [CORE] Corrigir um erro de unidade relacionado a spark.eventLog.buffer.kb
  • [FAÍSCA-45317] [SC-143750] [SQL] [CONECTAR] Manipular nome de arquivo nulo em rastreamentos de pilha de exceções
  • [FAÍSCA-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId adiciona informações colunares
  • [FAÍSCA-45235] [SC-143314] [CONECTAR] [PYTHON] Mapa de suporte e parâmetros de matriz por sql()
  • [FAÍSCA-45138] [SC-143309] [SS] Definir uma nova classe de erro e aplicá-la quando o estado de ponto de verificação para DFS falhar
  • [FAÍSCA-45297] [SC-143644] [SQL] Remover solução alternativa para dateformatter adicionado no SPARK-31827
  • [FAÍSCA-44345] [SC-143593] [CORE] Nível de log mais baixo unknown shuffle map output para AVISAR se a migração aleatória estiver habilitada
  • [FAÍSCA-44463] [SC-143251] [SS] [CONECTAR] Melhore o tratamento de erros para o Connect steaming Python worker
  • [FAÍSCA-45207] [SC-143603] [SQL] [CONECTAR] Implementar enriquecimento de erros para o cliente Scala
  • [FAÍSCA-45240] [SC-143602] [SQL] [CONECTAR] Implementar enriquecimento de erros para cliente Python
  • [FAÍSCA-45216] [SC-143288] [SQL] Corrigir APIs de conjunto de dados semeado não determinístico
  • [FAÍSCA-45251] [SC-143419] [CONECTAR] Adicionar campo client_type para FetchErrorDetails
  • [FAÍSCA-45137] [SC-143001] [CONECTAR] Suporte a parâmetros de mapa/matriz parametrizados sql()
  • [FAÍSCA-45224] [SC-143257] [PYTHON] Adicione exemplos com mapa e matriz como parâmetros de sql()
  • [FAÍSCA-44622] [SC-143205] [SQL] [CONECTAR] Implementar FetchErrorDetails RPC
  • [FAÍSCA-45178] [SC-136089] Fallback para executar um único lote para Trigger.AvailableNow com fontes sem suporte em vez de usar wrapper
  • [FAÍSCA-44823] [14.x] [SC-142979] [PYTHON] Atualização preta para 23.9.1 e verificação corrigitiva
  • [FAÍSCA-45078] [SC-142954] [SQL] Fix array_insert ImplicitCastInputTypes não funciona
  • [FAÍSCA-44579] [SC-138428] [SQL] Suporte Interrupt On Cancel no SQLExecution
  • [FAÍSCA-45252] [SC-143371] [CORE] Fuja dos símbolos maior/menor que nos comentários para fazer sbt doc a execução com êxito
  • [FAÍSCA-45189] [SC-142973] [SQL] A criação de UnresolvedRelation a partir de TableIdentifier deve incluir o campo de catálogo
  • [FAÍSCA-45229] [SC-143254] [CORE] [UI] Mostrar o número de drivers aguardando no status ENVIADO na MasterPage
  • [FAÍSCA-43453] Reverter "[SC-143135][PS] Ignorar o names de MultiIndex quando axis=1 para concat"

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Ambiente do sistema

  • Sistema Operacional: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Escala: 2.12.15
  • Píton: 3.10.12
  • R: 4.3.1
  • Lago Delta: 3.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Anyio 3.5.0 Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0
AstTokens 2.0.5 ATRs 22.1.0 Backcall 0.2.0
sopa bonita4 4.11.1 preto 22.6.0 lixívia 4.1.0
pisca-pisca 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Comm 0.1.2
contorno 1.0.5 criptografia 39.0.1 cycler 0.11.0
Quisto 0.29.32 Databricks-SDK 0.1.6 dbus-python 1.2.18
depuração 1.6.7 decorador 5.1.1 DeUsedXML 0.7.1
Distlib 0.3.7 docstring-para-markdown 0,11 pontos de entrada 0.4
execução 0.8.3 facetas-visão geral 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 Fonttools 4.25.0 googleapis-comuns-protos 1.61.0
Grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadados 4.6.4 Ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 Joblib 1.2.0 jsonschema 4.17.3
jupyter-cliente 7.3.4 jupyter-servidor 1.23.4 jupyter_core 5.2.0
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 porta-chaves 23.5.0
Kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-em linha 0.1.6 Mccabe 0.7.0
Mistune 0.8.4 mais-itertools 8.10.0 mypy-extensões 0.4.3
NBMédico 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 Ninho-Asyncio 1.5.6 nodeenv 1.8.0
bloco de notas 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
OAuthlib 3.2.0 embalagem 22.0 pandas 1.5.3
PandocFilters 1.5.0 Parso 0.8.3 PathSpec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 9.4.0 pip 22.3.1 plataformadirs 2.5.2
enredo 5.9.0 pluggy 1.0.0 Prometheus-cliente 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 PSUTIL 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.4 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 Pyodbc 4.0.32
pyparsing 3.0.9 Pyright 1.1.294 pirsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-servidor 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 Pyzmq 23.2.0
pedidos 2.28.1 corda 1.7.0 s3transferir 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
Armazenamento Secreto 3.3.1 Enviar2Lixo 1.8.0 setuptools 65.6.3
seis 1.16.0 sniffio 1.2.0 Soupsieve 2.3.2.post1
ssh-import-id 5.11 dados de pilha 0.2.0 statsmodels 0.13.5
tenacidade 8.1.0 terminado 0.17.1 ThreadPoolCtl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 Tomli 2.0.1
tornado 6.1 traços 5.7.1 typing_extensions 4.4.0
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 largura de wc 0.2.5
WebEncodings 0.5.1 Websocket-cliente 0.58.0 whatthepatch 1.0.2
roda 0.38.4 widgetsnbextension 3.6.1 Yapf 0.33.0
zipp | 1.0.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 12.0.1 AskPass 1.1 asserçãoat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
arranque 1.3-28 brew 1.0-8 Brio 1.1.3
vassoura 1.0.5 BSLIB 0.5.0 cachem 1.0.8
Chamador 3.7.3 acento circunflexo 6.0-94 Cellranger 1.1.0
crono 2.3-61 classe 7.3-22 cli 3.6.1
Clipr 0.8.0 relógio 0.7.0 cluster 2.1.4
codetools 0.2-19 espaço em cores 2.1-0 marca comum 1.9.0
compilador 4.3.1 configuração 0.3.1 conflituosos 1.2.0
CPP11 0.4.4 lápis de cor 1.5.2 credenciais 1.3.2
curl 5.0.1 data.table 1.14.8 conjuntos de dados 4.3.1
DBI 1.1.3 DBPlyr 2.3.3 desc 1.4.2
devtools 2.4.5 diagrama 1.6.5 diffobj 0.3.5
resumo 0.6.33 Iluminação reduzida 0.4.3 dplyr 1.1.2
DTPlyr 1.3.1 E1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 Fãsi 1.0.4 Farver 2.1.1
mapa rápido 1.1.1 fontawesome 0.5.1 FORCATS 1.0.0
foreach 1.5.2 externa 0.8-82 forjar 0.2.0
FS 1.6.2 Futuro 1.33.0 future.apply 1.11.0
gargarejo 1.5.1 Genéricos 0.1.3 Gert 1.9.2
ggplot2 3.4.2 GH 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globais 0.16.2 colar 1.6.2
GoogleDrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
gráficos 4.3.1 grDevices 4.3.1 grelha 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
capacete 1.3.0 Refúgio 2.5.3 mais alto 0.10
HMS 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 HTTR2 0.2.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-14
Isoband 0.2.7 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 Knitr 1.43
etiquetagem 0.4.2 mais tarde 1.3.1 lattice 0.21-8
lava 1.7.2.1 ciclo de vida 1.0.3 ouvirv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Marcação 1.7
MASSA 7.3-60 Matriz 1.5-4.1 memoise 2.0.1
métodos 4.3.1 mgcv 1.8-42 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 Modelador 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 paralelo 4.3.1
Paralelamente 1.36.0 pilar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 Profvis 0.3.8 Progresso 1.2.2
progressor 0.13.0 promessas 1.2.0.1 proto 1.0.0
procuração 0.4-27 PS 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 RAGG 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
Leitor 2.1.4 ReadXL 1.4.3 receitas 1.0.6
revanche 1.0.1 revanche2 2.1.2 Controles remotos 2.4.2
Reprex 2.0.2 remodelar2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversões 2.1.2
Rvest 1.0.3 Sass 0.4.6 escalas 1.2.1
seletor 0.4-2 sessioninfo 1.2.2 forma 1.4.6
brilhante 1.7.4.1 ferramentas de origem 0.1.7-1 sparklyr 1.8.1
espacial 7.3-15 splines 4.3.1 sqldf 0.4-11
QUADRADO 2021.1 estatísticas 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 sobrevivência 3.5-5
sys 3.4.2 fontes do sistema 1.0.4 tcltk 4.3.1
testeatat 3.1.10 formatação de texto 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 Tidyverse 2.0.0
mudança de hora 0.2.0 timeDate 4022.108 Tinytex 0,45
ferramentas 4.3.1 TZDB 0.4.0 urlchecker 1.0.1
usethis 2.2.2 UTF8 1.2.3 utilitários 4.3.1
uuid 1.1-0 VCTRS 0.6.3 viridisLite 0.4.2
vroom 1.6.3 Waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.15.2
com.github.ben-manes.cafeína cafeína 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-Nativos
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-Nativos
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-Nativos
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-Nativos
com.github.luben ZSTD-JNI 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind JAXB-CORE 2.2.11
com.sun.xml.bind JAXB-IMPL 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib Lapack | 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.25
IO.Delta delta-compartilhamento-client_2.12 1.0.2
io.dropwizard.metrics métricas-anotação 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics métricas-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-meias 4.1.96.Final
io.netty netty-comum 4.1.96.Final
io.netty netty-manipulador 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Janelas finais x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transporte de rede 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-nativo-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-nativo-unix-comum 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna JNA 5.8.0
net.razorvine picles 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow formato de seta 12.0.1
org.apache.arrow seta-memória-núcleo 12.0.1
org.apache.arrow seta-memória-netty 12.0.1
org.apache.arrow vetor de seta 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapeado 1.11.2
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.datasketches Datasketches-Java 3.1.0
org.apache.datasketches datasketches-memória 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy hera 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-protobuf sombreado
org.apache.orc orc-núcleo 1.9.1-protobuf sombreado
org.apache.orc orc-mapreduce 1.9.1-protobuf sombreado
org.apache.orc Orc-calços 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-sombreado 4.23
org.apache.yetus anotações de audiência 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-juta 3.6.3
org.checkerframework verificador-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty cais-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket API WebSocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-cliente 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-Comum 9.4.52.v20230823
org.eclipse.jetty.websocket servidor websocket 9.4.52.v20230823
org.eclipse.jetty.websocket Websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core servidor de jersey 2.40
org.glassfish.jersey.inject Jersey-HK2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow MLFLOW-Faísca 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap calços 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.15
org.scala-lang Escala-library_2.12 2.12.15
org.scala-lang Escala-reflect_2,12 2.12.15
org.scala-lang.modules scala-coleção-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp Brisa-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest compatível com scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten trêsdez-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel gatos-kernel_2.12 2.1.1
org.typelevel torre-macros_2.12 0.17.0
org.typelevel torre-platform_2.12 0.17.0
org.typelevel torre-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl mosca-selvagem-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1