Databricks Runtime 11.1 (sem suporte)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.1, desenvolvido pelo Apache Spark 3.3.0. A Databricks divulgou essas imagens em julho de 2022.

Novos recursos e melhorias

• Fóton é GA
• Photon: Tipos de instância suportados
• O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
• Descrever e mostrar funções SQL agora mostram nomes do Catálogo Unity em sua saída (Visualização pública)
• Inferência de esquema e evolução para arquivos Parquet no Auto Loader (Visualização pública)
• Auto Loader agora suporta evolução de esquema para Avro (GA)
• Suporte Delta Lake para substituições de partição dinâmica
• Suporte de esquema de informações para objetos criados no Unity Catalog
• Restrições informativas em tabelas Delta Lake com Unity Catalog (Visualização pública)
• Unity Catalog é GA
• Delta Sharing é GA

Fóton é GA

O Photon agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. O Photon é o motor de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com as APIs do Apache Spark para que funcione com o código existente. O Photon é desenvolvido em C++ para tirar proveito do hardware moderno e usa as técnicas mais recentes em processamento vetorizado de consultas para capitalizar o paralelismo de dados e instruções em CPUs, melhorando o desempenho em dados e aplicativos do mundo real — tudo nativamente em seu data lake.

O Photon faz parte de um runtime de alto desempenho que executa as chamadas à API do SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho. O Photon é utilizado por predefinição nos armazéns SQL do Databricks.

Os novos recursos e melhorias incluem:

• Novo operador de classificação vetorizado
• Novas funções vetorizadas de janela
• Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

• UDFs Scala/Python não são suportados pelo Photon
• RDD não é suportado pelo Photon
• O Streaming estruturado não é suportado pelo Photon

Para obter mais informações, consulte os seguintes anúncios do Photon.

Photon: Novo operador de classificação vetorizado

O Photon agora suporta uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função de janela com um ORDER BYarquivo .

Limitações: Photon não suporta uma cláusula global ORDER BY . As classificações para avaliação de janela serão fotonizadas, mas a classificação global continuará a ser executada no Spark.

Photon: Novas funções vetorizadas da janela

Photon agora suporta avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções da janela incluem: row_number, , , rank, , , leadlagpercent_rankdense_rankntilee .nth_value Tipos de moldura de janela suportados: executando (), sem limites (), crescendo () e encolhendo (UNBOUNDED PRECEDING AND CURRENT ROWUNBOUNDED PRECEDING AND <OFFSET> FOLLOWINGUNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

• Photon suporta apenas ROWS versões de todos os tipos de quadros.
• O fóton ainda não suporta o tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância suportados

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O feed de dados de alteração (CDF) agora tem um novo modo para fornecer carimbos de data/hora ou versões após a versão de confirmação mais recente sem lançar erros. Este modo está desativado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

Descrever e mostrar funções SQL agora mostram nomes do Catálogo Unity em sua saída (Visualização pública)

Os comandos DESC TABLE, , , , DESC FUNCTIONDESC NAMESPACE, DESC DATABASEDESC SCHEMA, EXPLAINe SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência de esquema e evolução para arquivos Parquet no Auto Loader (Visualização pública)

O Auto Loader agora suporta inferência de esquema e evolução para arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora você pode usar a coluna de dados resgatados para resgatar dados inesperados que podem aparecer em seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm um invólucro diferente ou colunas adicionais que não fazem parte do esquema esperado. Você pode configurar o Auto Loader para evoluir o esquema automaticamente ao encontrar a adição de novas colunas nos dados recebidos. Consulte Configurar inferência e evolução de esquema no Auto Loader.

Auto Loader agora suporta evolução de esquema para Avro (GA)

Consulte Configurar inferência e evolução de esquema no Auto Loader.

Suporte Delta Lake para substituições de partição dinâmica

O Delta Lake agora permite que o modo de substituição de partição dinâmica substitua todos os dados existentes em cada partição lógica para a qual a gravação confirmará novos dados. Consulte Substituir dados seletivamente com o Delta Lake.

Suporte de esquema de informações para objetos criados no Unity Catalog

O esquema de informações fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tabelas e exibições, restrições e rotinas. Dentro do esquema de informações, você encontra um conjunto de modos de exibição que descrevem os objetos conhecidos no catálogo do esquema que você tem o privilégio de ver. O esquema de informações do SYSTEM catálogo retorna informações sobre objetos em todos os catálogos dentro do metastore. Consulte Esquema de informações.

Restrições informativas em tabelas Delta Lake com Unity Catalog (Visualização pública)

Agora você pode definir restrições de chave primária informacional e chave estrangeira em tabelas Delta Lake com o Unity Catalog. As restrições informacionais não são impostas. Consulte a cláusula CONSTRAINT.

Unity Catalog é GA

O Unity Catalog agora está disponível para o público em geral a partir do Databricks Runtime 11.1. Consulte O que é o Unity Catalog?.

Delta Sharing é GA

O Delta Sharing agora está disponível para o público em geral a partir do Databricks Runtime 11.1.

O Databricks to Databricks Delta Sharing é totalmente gerenciado sem a necessidade de troca de tokens. Você pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs SQL e REST.

Alguns recursos incluem restringir o acesso de destinatários, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento do Delta Sharing a não-administradores. Você também pode consultar alterações em dados ou compartilhar versões incrementais com o Change Data Feeds. Consulte Compartilhar dados e ativos de IA com segurança usando o Delta Sharing.

Alterações de comportamento

Redação de propriedades sensíveis para DESCRIBE TABLE e SHOW TABLE PROPERTIES

Os DESCRIBE TABLE comandos e agora editam SHOW TABLE PROPERTIES propriedades confidenciais.

Clusters de tarefas padrão para o modo de acesso de usuário único com Databricks Runtime 11.1 e superior

Para serem capazes do Unity Catalog, os clusters de tarefas que usam o Databricks Runtime 11.1 e superior criados por meio da interface do usuário de trabalhos ou da API de trabalhos usarão como padrão o modo de acesso de usuário único. O modo de acesso de usuário único suporta a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você ainda pode configurar o modo de acesso compartilhado por meio da interface do usuário ou da API, mas os idiomas ou recursos podem ser limitados.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.6.0 a 3.7.1
  • plotly de 5.6.0 a 5.8.2
  • Protobuf de 3.20.1 a 4.21.2
• Bibliotecas R atualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • DBPlyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • futuro de 1.25.0 a 1.26.1
  • globais de 0.14.0 a 0.15.1
  • Hardhat de 0.2.0 a 1.1.0
  • ipred de 0,9-12 a 0,9-13
  • openssl de 2.0.0 a 2.0.2
  • paralelamente de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressor de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 a 1.7.1
  • randomFloresta de 4,7-1 a 4,7-1,1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • Sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0,38 a 0,40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Faísca Apache

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
• [FAÍSCA-39489] [CORE] Melhore o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s
• [FAÍSCA-39319] [CORE] [SQL] Tornar contextos de consulta como parte de SparkThrowable
• [FAÍSCA-40085] [SQL] Use INTERNAL_ERROR classe de erro em vez de IllegalStateException para indicar bugs
• [FAÍSCA-40001] [SQL] Fazer gravações NULL em colunas JSON DEFAULT gravar 'null' no armazenamento
• [FAÍSCA-39635] [SQL] Suporta métricas de driver na API de métrica personalizada do DS v2
• [FAÍSCA-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de carimbo de data e hora
• [FAÍSCA-40019] [SQL] Refatore o comentário de ArrayType continsNull e refatore as lógicas de mal-entendido na expressão de collectionOperator sobre containsNull
• [FAÍSCA-39989] [SQL] Ofereça suporte a estatísticas de coluna de estimativa se for uma expressão dobrável
• [FAÍSCA-39926] [SQL] Corrigir bug na coluna Suporte PADRÃO para varreduras de Parquet não vetorizadas
• [FAÍSCA-40052] [SQL] Manipular buffers diretos de bytes em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
• [FAÍSCA-39835] [SQL] Fix EliminateSorts remove a classificação global abaixo da classificação local
• [FAÍSCA-40002] [SQL] Não empurre o limite para baixo através da janela usando ntile
• [FAÍSCA-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [FAÍSCA-39985] [SQL] Habilitar valores de coluna DEFAULT implícitos em inserções de DataFrames
• [FAÍSCA-39776] [SQL] JOIN string detalhada deve adicionar o tipo Join
• [FAÍSCA-38901] [SQL] DS V2 suporta funções push down misc
• [FAÍSCA-40028] [SQL] [Seguimento] Melhorar exemplos de funções de cadeia de caracteres
• [FAÍSCA-39983] [CORE] [SQL] Não armazenar em cache relações de difusão não serializadas no driver
• [FAÍSCA-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [FAÍSCA-40028] [SQL] Adicionar exemplos binários para expressões de cadeia de caracteres
• [FAÍSCA-39981] [SQL] Lance a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert no Cast
• [FAÍSCA-40007] [PYTHON] [SQL] Adicionar 'modo' às funções
• [FAÍSCA-40008] [SQL] Suporte de fundição de integrais para intervalos ANSI
• [FAÍSCA-40003] [PYTHON] [SQL] Adicionar 'mediana' às funções
• [FAÍSCA-39952] [SQL] SaveIntoDataSourceCommand deve rearmazenar em cache a relação de resultados
• [FAÍSCA-39951] [SQL] Atualizar verificação colunar do Parquet V2 para campos aninhados
• [FAÍSCA-39775] [CORE] [AVRO] Desabilitar a validação de valores padrão ao analisar esquemas Avro
• [FAÍSCA-33236] [baralhar] Backport para DBR 11.x: habilite o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para preservando a reinicialização do trabalho
• [FAÍSCA-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo o método comum.
• [FAÍSCA-39867] [SQL] O limite global não deve herdar OrderPreservingUnaryNode
• [FAÍSCA-39873] [SQL] Remova OptimizeLimitZero e mescle-o em EliminateLimits
• [FAÍSCA-39961] [SQL] DS V2 push-down traduzir Cast se o elenco é seguro
• [FAÍSCA-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a api de entrada de matriz em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-39858] [SQL] Remover regras desnecessárias AliasHelper ou PredicateHelper para algumas
• [FAÍSCA-39962] [WARMFIX] [ES-393486] [PYTHON] [SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
• [FAÍSCA-39900] [SQL] Condição parcial ou negada de endereço no pushdown de predicado do formato binário
• [FAÍSCA-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [FAÍSCA-39958] [SQL] Adicionar log de aviso quando não for possível carregar o objeto de métrica personalizado
• [FAÍSCA-39936] [SQL] Armazenar esquema em propriedades para Spark Views
• [FAÍSCA-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [FAÍSCA-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
• [FAÍSCA-39902] [SQL] Adicionar detalhes do Scan ao nó de verificação do plano de faísca no SparkUI
• [FAÍSCA-39865] [SQL] Mostrar mensagens de erro adequadas nos erros de estouro da inserção da tabela
• [FAÍSCA-39940] [SS] Atualizar tabela de catálogo na consulta de streaming com o coletor DSv1
• [FAÍSCA-39827] [SQL] Use a classe ARITHMETIC_OVERFLOW de erro no estouro int em add_months()
• [FAÍSCA-39914] [SQL] Adicionar Filtro DS V2 à conversão de Filtro V1
• [FAÍSCA-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para No predicado #43454
• [FAÍSCA-39840] [SQL] [PYTHON] Fator PythonArrowInput como uma simetria para PythonArrowOutput
• [FAÍSCA-39651] [SQL] A condição do filtro Prune se comparada com rand é determinística
• [FAÍSCA-39877] [PYTHON] Adicionar unpivot à API do PySpark DataFrame
• [FAÍSCA-39847] [WARMFIX] [SS] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
• [FAÍSCA-39909] [SQL] Organizar a verificação de informações de push down para JDBCV2Suite
• [FAÍSCA-39834] [SQL] [SS] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [FAÍSCA-39860] [SQL] Mais expressões devem estender Predicado
• [FAÍSCA-39823] [SQL] [PYTHON] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [FAÍSCA-39918] [SQL] [MENOR] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
• [FAÍSCA-39857] [SQL] [3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
• [FAÍSCA-39862] [SQL] Backport manual para PR 43654 visando DBR 11.x: Atualização SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE ... Comandos ADD COLUMN separadamente.
• [FAÍSCA-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
• [FAÍSCA-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
• [FAÍSCA-39890] [SQL] Fazer TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [FAÍSCA-39809] [PYTHON] Suporte CharType no PySpark
• [FAÍSCA-38864] [SQL] Adicionar unpivot / melt ao Dataset
• [FAÍSCA-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [FAÍSCA-39808] [SQL] Suporta o modo de função agregada
• [FAÍSCA-39839] [SQL] Lidar com maiúsculas e minúsculas de comprimento variável nulo Decimal com deslocamento diferente de zeroAndSize na verificação de integridade estrutural UnsafeRow
• [FAÍSCA-39875] [SQL] Alterar protected o método na classe final para private ou package-visible
• [FAÍSCA-39731] [SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
• [FAÍSCA-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
• [FAÍSCA-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir o Catalyst Expression para o filtro da fonte de dados
• [FAÍSCA-39672] [SQL] [3.1] Corrigir a remoção do projeto antes do filtro com a subconsulta correlacionada
• [FAÍSCA-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [FAÍSCA-39806] [SQL] O acesso _metadata em uma tabela particionada pode travar uma consulta
• [FAÍSCA-39810] [SQL] Catalog.tableExists deve manipular namespace aninhado
• [FAÍSCA-37287] [SQL] Extraia a partição dinâmica e a classificação de bucket de FileFormatWriter
• [FAÍSCA-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
• [FAÍSCA-39148] [SQL] DS V2 agregado push down pode trabalhar com OFFSET ou LIMIT
• [FAÍSCA-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT, MAP com valores DEFAULT com campo(s) NULL
• [FAÍSCA-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
• [FAÍSCA-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor de GenericArrayData
• [FAÍSCA-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
• [FAÍSCA-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
• [FAÍSCA-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [FAÍSCA-39760] [PYTHON] Suporte Varchar no PySpark
• [FAÍSCA-39557] [SQL] Backport manual para DBR 11.x: suporta tipos ARRAY, STRUCT, MAP como valores DEFAULT
• [FAÍSCA-39758] [SQL] [3.3] Corrigir NPE das funções regexp em padrões inválidos
• [FAÍSCA-39749] [SQL] Modo ANSI SQL: Use a representação de cadeia de caracteres simples na conversão de decimal para string
• [FAÍSCA-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
• [FAÍSCA-39803] [SQL] Utilizar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [FAÍSCA-39339] [SQL] Suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [FAÍSCA-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de armazenamento de estado rocksdb
• [FAÍSCA-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte ao SparkR
• [FAÍSCA-39751] [SQL] Renomear métrica de testes de chave de agregação de hash
• [FAÍSCA-39772] [SQL] namespace deve ser null quando o banco de dados é nulo nos construtores antigos
• [FAÍSCA-39625] [FAÍSCA-38904] [SQL] Adicionar Dataset.as(StructType)
• [FAÍSCA-39384] [SQL] Compilar funções de agregação de regressão linear integradas para o dialeto JDBC
• [FAÍSCA-39720] [R] Implementar tableExists/getTable no namespace SparkR for 3L
• [FAÍSCA-39744] [SQL] Adicionar a REGEXP_INSTR função
• [FAÍSCA-39716] [R] Faça com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suporte 3L namespace
• [FAÍSCA-39788] [SQL] Renomear catalogName para dialectName for JdbcUtils
• [FAÍSCA-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [FAÍSCA-39754] [CORE] [SQL] Remover não utilizados import ou desnecessários {}
• [FAÍSCA-39706] [SQL] Definir coluna ausente com defaultValue como constante em ParquetColumnVector
• [FAÍSCA-39699] [SQL] Tornar o CollapseProject mais inteligente sobre expressões de criação de coleção
• [FAÍSCA-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC deve suportar filtro agregado
• [FAÍSCA-39579] [SQL] [PYTHON] [R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [FAÍSCA-39627] [SQL] O pushdown JDBC V2 deve unificar a API de compilação
• [FAÍSCA-39748] [SQL] [SS] Inclua o plano lógico de origem para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39385] [SQL] Definição da palavra linear regression aggregate functions for pushdown
• [FAÍSCA-39695] [SQL] Adicionar a REGEXP_SUBSTR função
• [FAÍSCA-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
• [FAÍSCA-39666] [ES-337834] [SQL] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
• [FAÍSCA-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
• [FAÍSCA-38647] [SQL] Adicionar SupportsReportOrdering mix na interface para Scan (DataSourceV2)
• [FAÍSCA-39497] [SQL] Melhorar a exceção de análise da coluna de chave de mapa ausente
• [FAÍSCA-39661] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
• [FAÍSCA-38899] [SQL] O DS V2 suporta funções push down datetime
• [FAÍSCA-39638] [SQL] Alterar para usar ConstantColumnVector para armazenar colunas de partição em OrcColumnarBatchReader
• [FAÍSCA-39653] [SQL] Limpar de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [FAÍSCA-39231] [SQL] Use ConstantColumnVector em vez de armazenar colunas de On/OffHeapColumnVector partição em VectorizedParquetRecordReader
• [FAÍSCA-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [FAÍSCA-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [FAÍSCA-39492] [SQL] Retrabalho MISSING_COLUMN
• [FAÍSCA-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordem de saída filho
• [FAÍSCA-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
• [FAÍSCA-39611] [PYTHON] [PS] Corrigir aliases errados no array_ufunc
• [FAÍSCA-39656] [SQL] [3.3] Corrigir namespace errado em DescribeNamespaceExec
• [FAÍSCA-39675] [SQL] Alternar a configuração 'spark.sql.codegen.factoryMode' da finalidade de teste para a finalidade interna
• [FAÍSCA-39139] [SQL] DS V2 suporta push down DS V2 UDF
• [FAÍSCA-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites
• [FAÍSCA-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
• [FAÍSCA-39618] [SQL] Adicionar a REGEXP_COUNT função
• [FAÍSCA-39553] [CORE] O shuffle de cancelamento de registro multithread não deve lançar NPE ao usar o Scala 2.13
• [FAÍSCA-38755] [PYTHON] [3.3] Adicionar ficheiro para resolver funções gerais de pandas em falta
• [FAÍSCA-39444] [SQL] Adicionar OptimizeSubqueries à lista nonExcludableRules
• [FAÍSCA-39316] [SQL] Mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
• [FAÍSCA-39505] [UI] Conteúdo do log de escape renderizado na interface do usuário
• [FAÍSCA-39448] [SQL] Adicionar ReplaceCTERefWithRepartition à nonExcludableRules lista
• [FAÍSCA-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
• [FAÍSCA-35223] Reverter Adicionar ProblemaNavegaçãoLink
• [FAÍSCA-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [FAÍSCA-38796] [SQL] Atualizar a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
• [FAÍSCA-39650] [SS] Corrigir esquema de valor incorreto na desduplicação de streaming com compatibilidade com versões anteriores
• [FAÍSCA-39636] [CORE] [UI] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e o Task/Executor ResourceRequests
• [FAÍSCA-39432] [SQL] Retorno ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [FAÍSCA-39349] Adicionar um método CheckError centralizado para QA do caminho de erro
• [FAÍSCA-39453] [SQL] DS V2 suporta push down misc funções não-agregadas (não ANSI)
• [FAÍSCA-38978] [SQL] DS V2 suporta operador OFFSET push down
• [FAÍSCA-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
• [FAÍSCA-39383] [SQL] Suporte a colunas DEFAULT em fontes de dados ALTER TABLE ALTER COLUMNS para V2
• [FAÍSCA-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
• [FAÍSCA-39548] [SQL] Comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada não encontrado problema
• [FAÍSCA-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get in Avr...
• [FAÍSCA-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se fallback para v1
• [FAÍSCA-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [FAÍSCA-39582] [SQL] Corrigir marcador "Desde" para array_agg
• [FAÍSCA-39388] [SQL] Reutilizar orcSchema quando empurrar predicados Orc para baixo
• [FAÍSCA-39511] [SQL] Melhore o limite local 1 para o lado direito da semi/antijunção esquerda se a condição de junção estiver vazia
• [FAÍSCA-38614] [SQL] Não empurre o limite para baixo através da janela que está usando percent_rank
• [FAÍSCA-39551] [SQL] Adicionar verificação de plano inválido do AQE
• [FAÍSCA-39383] [SQL] Suporte a colunas PADRÃO em ALTER TABLE ADD COLUMNS para fontes de dados V2
• [FAÍSCA-39538] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39383] [SQL] Backport manual para DBR 11.x: refatore o suporte à coluna DEFAULT para ignorar a passagem do analisador principal
• [FAÍSCA-39397] [SQL] Relaxe AliasAwareOutputExpression para suportar alias com expressão
• [FAÍSCA-39496] [SQL] Manipular struct null em Inline.eval
• [FAÍSCA-39545] [SQL] Método de substituição concat para no Scala 2.13 para ExpressionSet melhorar o desempenho
• [FAÍSCA-39340] [SQL] DS v2 agg pushdown deve permitir pontos no nome de colunas de nível superior
• [FAÍSCA-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [FAÍSCA-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [FAÍSCA-39520] [SQL] Método de substituição -- para ExpressionSet no Scala 2.13
• [FAÍSCA-39470] [SQL] Suporte a conversão de intervalos ANSI para decimais
• [FAÍSCA-39477] [SQL] Remova as informações de "Número de consultas" dos arquivos dourados do SQLQueryTestSuite
• [FAÍSCA-39419] [SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
• [FAÍSCA-39061] [SQL] Definir anulável corretamente para Inline atributos de saída
• [FAÍSCA-39320] [SQL] Função de agregação de suporte MEDIAN
• [FAÍSCA-39261] [CORE] Melhorar a formatação de novas linhas para mensagens de erro
• [FAÍSCA-39355] [SQL] Uma única coluna usa aspas para construir UnresolvedAttribute
• [FAÍSCA-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
• [FAÍSCA-37623] [SQL] Suporte ANSI Aggregate Função: regr_intercept
• [FAÍSCA-39374] [SQL] Melhorar a mensagem de erro para a lista de colunas especificada pelo usuário
• [FAÍSCA-39255] [SQL] [3.3] Melhorar as mensagens de erro
• [FAÍSCA-39321] [SQL] Refatore TryCast para usar RuntimeReplaceable
• [FAÍSCA-39406] [PYTHON] Aceitar matriz NumPy em createDataFrame
• [FAÍSCA-39267] [SQL] Limpar símbolo dsl desnecessário
• [FAÍSCA-39171] [SQL] Unificar a expressão Cast
• [FAÍSCA-28330] [SQL] Suporte ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [FAÍSCA-39203] [SQL] Reescrever o local da tabela para URI absoluto com base no URI do banco de dados
• [FAÍSCA-39313] [SQL] toCatalystOrdering deve falhar se V2Expression não puder ser traduzido
• [FAÍSCA-39301] [SQL] [PYTHON] Aproveite LocalRelation e respeite o tamanho do lote de seta em createDataFrame com otimização de seta
• [FAÍSCA-39400] [SQL] spark-sql deve remover hive resource dir em todos os casos

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
Antergos Linux	2015.10 (Laminação ISO)	Argônio2-CFFI	20.1.0	gerador assíncrono	1.10
ATRs	21.2.0	Backcall	0.2.0	backports.pontos de entrada-selecionáveis	1.1.1
preto	22.3.0	lixívia	4.0.0	boto3	1.21.18
botocore	1.24.18	certifi	2021.10.8	cffi	1.14.6
chardet	4.0.0	Normalizador de Charset	2.0.4	clicar	8.0.3
criptografia	3.4.8	cycler	0.10.0	Quisto	0.29.24
dbus-python	1.2.16	depuração	1.4.1	decorador	5.1.0
DeUsedXML	0.7.1	Distlib	0.3.5	distro-info	0,23ubuntu1
pontos de entrada	0.3	facetas-visão geral	1.0.0	filelock	3.8.0
idna	3.2	Ipykernel	6.12.1	ipython	7.32.0
ipython-genutils	0.2.0	ipywidgets	7.7.0	Jedi	0.18.0
Jinja2	2.11.3	jmespath	0.10.0	Joblib	1.0.1
jsonschema	3.2.0	jupyter-cliente	6.1.12	Jupyter-core	4.8.1
Jupyterlab-Pygments	0.1.2	jupyterlab-widgets	1.0.0	Kiwisolver	1.3.1
MarkupSafe	2.0.1	matplotlib	3.4.3	matplotlib-em linha	0.1.2
Mistune	0.8.4	mypy-extensões	0.4.3	nbclient	0.5.3
nbconvert	6.1.0	nbformat	5.1.3	Ninho-Asyncio	1.5.1
bloco de notas	6.4.5	numpy	1.20.3	embalagem	21.0
pandas	1.3.4	PandocFilters	1.4.3	Parso	0.8.2
PathSpec	0.9.0	patsy	0.5.2	pexpect	4.8.0
pickleshare	0.7.5	Travesseiro	8.4.0	pip	21.2.4
plataformadirs	2.5.2	enredo	5.9.0	Prometheus-cliente	0.11.0
prompt-toolkit	3.0.20	protobuf	4.21.5	PSUTIL	5.8.0
psycopg2	2.9.3	ptyprocess	0.7.0	pyarrow	7.0.0
pycparser	2,20	Pygments	2.10.0	PyGObject	3.36.0
Pyodbc	4.0.31	pyparsing	3.0.4	pirsistent	0.18.0
python-apt	2.0.0+ubuntu0.20.4.7	python-dateutil	2.8.2	pytz	2021.3
Pyzmq	22.2.1	pedidos	2.26.0	pedidos-unixsocket	0.2.0
s3transferir	0.5.2	scikit-learn	0.24.2	scipy	1.7.1
seaborn	0.11.2	Enviar2Lixo	1.8.0	setuptools	58.0.4
seis	1.16.0	ssh-import-id	5.10	statsmodels	0.12.2
tenacidade	8.0.1	terminado	0.9.4	caminho de teste	0.5.0
ThreadPoolCtl	2.2.0	tokenize-rt	4.2.1	Tomli	2.0.1
tornado	6.1	traços	5.1.0	extensões de digitação	3.10.0.2
Upgrades autônomos	0.1	urllib3	1.26.7	virtualenv	20.8.0
largura de wc	0.2.5	WebEncodings	0.5.1	roda	0.37.0
widgetsnbextension	3.6.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-08-15.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
AskPass	1.1	asserçãoat	0.2.1	backports	1.4.1
base	4.1.3	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.3	arranque	1.3-28
brew	1.0-7	Brio	1.1.3	vassoura	1.0.0
BSLIB	0.4.0	cachem	1.0.6	Chamador	3.7.1
acento circunflexo	6.0-93	Cellranger	1.1.0	crono	2.3-57
classe	7.3-20	cli	3.3.0	Clipr	0.8.0
cluster	2.1.3	codetools	0.2-18	espaço em cores	2.0-3
marca comum	1.8.0	compilador	4.1.3	configuração	0.3.1
CPP11	0.4.2	lápis de cor	1.5.1	credenciais	1.3.2
curl	4.3.2	data.table	1.14.2	conjuntos de dados	4.1.3
DBI	1.1.3	DBPlyr	2.2.1	desc	1.4.1
devtools	2.4.4	diffobj	0.3.5	resumo	0.6.29
Iluminação reduzida	0.4.2	dplyr	1.0.9	DTPlyr	1.2.1
E1071	1.7-11	ellipsis	0.3.2	evaluate	0,16
Fãsi	1.0.3	Farver	2.1.1	mapa rápido	1.1.0
fontawesome	0.3.0	FORCATS	0.5.1	foreach	1.5.2
externa	0.8-82	forjar	0.2.0	FS	1.5.2
Futuro	1.27.0	future.apply	1.9.0	gargarejo	1.2.0
Genéricos	0.1.3	Gert	1.7.0	ggplot2	3.3.6
GH	1.3.0	gitcreds	0.1.1	glmnet	4.1-4
Globais	0.16.0	colar	1.6.2	GoogleDrive	2.0.0
googlesheets4	1.0.1	gower	1.0.0	gráficos	4.1.3
grDevices	4.1.3	grelha	4.1.3	gridExtra	2.3
gsubfn	0.7	gtable	0.3.0	capacete	1.2.0
Refúgio	2.5.0	mais alto	0,9	HMS	1.1.1
htmltools	0.5.3	htmlwidgets	1.5.4	httpuv	1.6.5
httr	1.4.3	IDs	1.0.1	ini	0.3.1
ipred	0.9-13	Isoband	0.2.5	iteradores	1.0.14
jquerylib	0.1.4	jsonlite	1.8.0	KernSmooth	2.23-20
Knitr	1.39	etiquetagem	0.4.2	mais tarde	1.3.0
lattice	0.20-45	lava	1.6.10	ciclo de vida	1.0.1
ouvirv	0.8.0	lubridate	1.8.0	magrittr	2.0.3
Marcação	1.1	MASSA	7.3-56	Matriz	1.4-1
memoise	2.0.1	métodos	4.1.3	mgcv	1.8-40
mime	0,12	miniUI	0.1.1.1	ModelMetrics	1.2.2.2
Modelador	0.1.8	munsell	0.5.0	nlme	3.1-157
nnet	7.3-17	numDeriv	2016.8-1.1	openssl	2.0.2
paralelo	4.1.3	Paralelamente	1.32.1	pilar	1.8.0
pkgbuild	1.3.1	pkgconfig	2.0.3	pkgdown	2.0.6
pkgload	1.3.0	plogr	0.2.0	plyr	1.8.7
elogiar	1.0.0	unidades bonitas	1.1.1	pROC	1.18.0
processx	3.7.0	prodlim	2019.11.13	Profvis	0.3.7
Progresso	1.2.2	progressor	0.10.1	promessas	1.2.0.1
proto	1.0.0	procuração	0.4-27	PS	1.7.1
purrr	0.3.4	r2d3	0.2.6	R6	2.5.1
RAGG	1.2.2	randomForest	4.7-1.1	rappdirs	0.3.3
rcmdcheck	1.4.0	RColorBrewer	1.1-3	Rcpp	1.0.9
RcppEigen	0.3.3.9.2	Leitor	2.1.2	ReadXL	1.4.0
receitas	1.0.1	revanche	1.0.1	revanche2	2.1.2
Controles remotos	2.4.2	Reprex	2.0.1	remodelar2	1.4.4
rlang	1.0.4	rmarkdown	2.14	RODBC	1.3-19
roxygen2	7.2.1	rpart	4.1.16	rprojroot	2.0.3
Rserve	1.8-11	RSQLite	2.2.15	rstudioapi	0,13
rversões	2.1.1	Rvest	1.0.2	Sass	0.4.2
escalas	1.2.0	seletor	0.4-2	sessioninfo	1.2.2
forma	1.4.6	brilhante	1.7.2	ferramentas de origem	0.1.7
sparklyr	1.7.7	SparkR	3.3.0	espacial	7.3-11
splines	4.1.3	sqldf	0.4-11	QUADRADO	2021.1
estatísticas	4.1.3	stats4	4.1.3	stringi	1.7.8
stringr	1.4.0	sobrevivência	3.2-13	sys	3.4
fontes do sistema	1.0.4	tcltk	4.1.3	testeatat	3.1.4
formatação de texto	0.3.6	tibble	3.1.8	tidyr	1.2.0
tidyselect	1.1.2	Tidyverse	1.3.2	timeDate	4021.104
Tinytex	0.40	ferramentas	4.1.3	TZDB	0.3.0
urlchecker	1.0.1	usethis	2.1.6	UTF8	1.2.2
utilitários	4.1.3	uuid	1.1-0	VCTRS	0.4.1
viridisLite	0.4.0	vroom	1.5.7	Waldo	0.4.0
whisker	0.4	withr	2.5.0	xfun	0.32
xml2	1.3.3	xopen	1.0.0	xtable	1.8-4
yaml	2.3.5	zip	2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo	ID do Artefacto	Versão
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.189
com.amazonaws	aws-java-sdk-cloudformation	1.12.189
com.amazonaws	aws-java-sdk-cloudfront	1.12.189
com.amazonaws	aws-java-sdk-cloudhsm	1.12.189
com.amazonaws	aws-java-sdk-cloudsearch	1.12.189
com.amazonaws	aws-java-sdk-cloudtrail	1.12.189
com.amazonaws	aws-java-sdk-cloudwatch	1.12.189
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.189
com.amazonaws	aws-java-sdk-codedeploy	1.12.189
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.189
com.amazonaws	aws-java-sdk-cognitosync	1.12.189
com.amazonaws	aws-java-sdk-config	1.12.189
com.amazonaws	aws-java-sdk-core	1.12.189
com.amazonaws	aws-java-sdk-datapipeline	1.12.189
com.amazonaws	aws-java-sdk-directconnect	1.12.189
com.amazonaws	aws-java-sdk-directory	1.12.189
com.amazonaws	aws-java-sdk-dynamodb	1.12.189
com.amazonaws	aws-java-sdk-ec2	1.12.189
com.amazonaws	aws-java-sdk-ecs	1.12.189
com.amazonaws	aws-java-sdk-efs	1.12.189
com.amazonaws	aws-java-sdk-elasticache	1.12.189
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.189
com.amazonaws	aws-java-sdk-emr	1.12.189
com.amazonaws	aws-java-sdk-glacier	1.12.189
com.amazonaws	aws-java-sdk-glue	1.12.189
com.amazonaws	aws-java-sdk-iam	1.12.189
com.amazonaws	aws-java-sdk-importexport	1.12.189
com.amazonaws	aws-java-sdk-kinesis	1.12.189
com.amazonaws	aws-java-sdk-kms	1.12.189
com.amazonaws	aws-java-sdk-lambda	1.12.189
com.amazonaws	aws-java-sdk-logs	1.12.189
com.amazonaws	aws-java-sdk-machinelearning	1.12.189
com.amazonaws	aws-java-sdk-opsworks	1.12.189
com.amazonaws	aws-java-sdk-rds	1.12.189
com.amazonaws	aws-java-sdk-redshift	1.12.189
com.amazonaws	aws-java-sdk-route53	1.12.189
com.amazonaws	aws-java-sdk-s3	1.12.189
com.amazonaws	aws-java-sdk-ses	1.12.189
com.amazonaws	aws-java-sdk-simpledb	1.12.189
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.189
com.amazonaws	aws-java-sdk-sns	1.12.189
com.amazonaws	aws-java-sdk-sqs	1.12.189
com.amazonaws	aws-java-sdk-ssm	1.12.189
com.amazonaws	aws-java-sdk-storagegateway	1.12.189
com.amazonaws	aws-java-sdk-sts	1.12.189
com.amazonaws	aws-java-sdk-support	1.12.189
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.189
com.amazonaws	jmespath-java	1.12.189
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	transmissão em fluxo	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2,12	0.4.15-10
com.esotericsoftware	sombreado de kryo	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	colega de turma	1.3.4
com.fasterxml.jackson.core	jackson-anotações	2.13.3
com.fasterxml.jackson.core	jackson-core	2.13.3
com.fasterxml.jackson.core	jackson-databind	2.13.3
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.13.3
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.13.3
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.3
com.fasterxml.jackson.module	jackson-module-paranamer	2.13.3
com.fasterxml.jackson.module	jackson-módulo-scala_2.12	2.13.3
com.github.ben-manes.cafeína	cafeína	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	núcleo	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java-nativos	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	ZSTD-JNI	1.5.2-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	Tink	1.6.1
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.0.204
com.helger	criador de perfil	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.1
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.2.1
com.typesafe.scala-logging	Escala-logging_2.12	3.7.2
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1,15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons-lang	commons-lang	2.6
registo de comuns	registo de comuns	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	ARPACK	2.2.1
dev.ludovic.netlib	Blas	2.2.1
dev.ludovic.netlib	Lapack |	2.2.1
Hadoop3	JETS3T-0,7	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.ponte aérea	compressor de ar	0.21
IO.Delta	delta-compartilhamento-spark_2.12	0.5.0
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	métricas-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.74.Final
io.netty	netty-buffer	4.1.74.Final
io.netty	netty-codec	4.1.74.Final
io.netty	netty-comum	4.1.74.Final
io.netty	netty-manipulador	4.1.74.Final
io.netty	netty-resolver	4.1.74.Final
io.netty	netty-tcnative-classes	2.0.48.Final
io.netty	transporte de rede	4.1.74.Final
io.netty	netty-transport-classes-epoll	4.1.74.Final
io.netty	netty-transport-classes-kqueue	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-aarch_64	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-x86_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-aarch_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-x86_64	4.1.74.Final
io.netty	netty-transport-nativo-unix-comum	4.1.74.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	recoletor	0.12.0
jacarta.anotação	Jacarta.Anotação-API	1.3.5
jacarta.servlet	jacarta.servlet-api	4.0.3
jacarta.validação	Jacarta.validation-api	2.0.2
jakarta.ws.rs	Jacarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	API de transação	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.13
MVN	Hadoop3	liball_deps_2.12
net.java.dev.jna	JNA	5.8.0
net.razorvine	picles	1.2
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.floco de neve	flocos de neve-ingestão-sdk	0.9.6
net.floco de neve	Flocos de Neve-JDBC	3.13.14
net.floco de neve	faísca-snowflake_2.12	2.10.0-spark_3.2
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	Remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8
org.antlr	stringtemplate	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	formato de seta	7.0.0
org.apache.arrow	seta-memória-núcleo	7.0.0
org.apache.arrow	seta-memória-netty	7.0.0
org.apache.arrow	vetor de seta	7.0.0
org.apache.avro	avro	1.11.0
org.apache.avro	avro-ipc	1.11.0
org.apache.avro	avro-mapeado	1.11.0
org.apache.commons	colecções-commons4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-texto	1.9
org.apache.curator	curador-cliente	2.13.0
org.apache.curator	curador-framework	2.13.0
org.apache.curator	curador-receitas	2.13.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.2-Databricks
org.apache.hadoop	hadoop-client-runtime	3.3.2
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-cliente	2.3.9
org.apache.hive	colmeia-lamp-comum	2.3.9
org.apache.hive	Colmeia-Serde	2.3.9
org.apache.hive	colmeias-calços	2.3.9
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	colmeia-calços-0,23	2.3.9
org.apache.hive.shims	colmeia-calços-comum	2.3.9
org.apache.hive.shims	colmeia-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.14
org.apache.ivy	hera	2.5.0
org.apache.logging.log4j	log4j-1.2-api	2.17.2
org.apache.logging.log4j	log4j-api	2.17.2
org.apache.logging.log4j	log4j-core	2.17.2
org.apache.logging.log4j	log4j-slf4j-impl	2.17.2
org.apache.mesos	mesos-sombreado-protobuf	1.4.0
org.apache.orc	orc-núcleo	1.7.5
org.apache.orc	orc-mapreduce	1.7.5
org.apache.orc	Orc-calços	1.7.5
org.apache.parquet	parquet-column	1.12.0-DATABRICKS-0004
org.apache.parquet	parquet-common	1.12.0-DATABRICKS-0004
org.apache.parquet	parquet-encoding	1.12.0-DATABRICKS-0004
org.apache.parquet	parquet-formato-estruturas	1.12.0-DATABRICKS-0004
org.apache.parquet	parquet-hadoop	1.12.0-DATABRICKS-0004
org.apache.parquet	parquet-jackson	1.12.0-DATABRICKS-0004
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-sombreado	4.20
org.apache.yetus	anotações de audiência	0.5.0
org.apache.zookeeper	zookeeper	3.6.2
org.apache.zookeeper	zookeeper-juta	3.6.2
org.checkerframework	verificador-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.46.v20220331
org.eclipse.jetty	jetty-continuation	9.4.46.v20220331
org.eclipse.jetty	jetty-http	9.4.46.v20220331
org.eclipse.jetty	jetty-io	9.4.46.v20220331
org.eclipse.jetty	jetty-jndi	9.4.46.v20220331
org.eclipse.jetty	jetty-plus	9.4.46.v20220331
org.eclipse.jetty	jetty-proxy	9.4.46.v20220331
org.eclipse.jetty	jetty-security	9.4.46.v20220331
org.eclipse.jetty	jetty-server	9.4.46.v20220331
org.eclipse.jetty	jetty-servlet	9.4.46.v20220331
org.eclipse.jetty	jetty-servlets	9.4.46.v20220331
org.eclipse.jetty	jetty-util	9.4.46.v20220331
org.eclipse.jetty	cais-util-ajax	9.4.46.v20220331
org.eclipse.jetty	jetty-webapp	9.4.46.v20220331
org.eclipse.jetty	jetty-xml	9.4.46.v20220331
org.eclipse.jetty.websocket	API WebSocket	9.4.46.v20220331
org.eclipse.jetty.websocket	Websocket-cliente	9.4.46.v20220331
org.eclipse.jetty.websocket	Websocket-Comum	9.4.46.v20220331
org.eclipse.jetty.websocket	servidor websocket	9.4.46.v20220331
org.eclipse.jetty.websocket	Websocket-servlet	9.4.46.v20220331
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	localizador hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jacarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.34
org.glassfish.jersey.containers	jersey-container-servlet-core	2.34
org.glassfish.jersey.core	jersey-client	2.34
org.glassfish.jersey.core	jersey-common	2.34
org.glassfish.jersey.core	servidor de jersey	2.34
org.glassfish.jersey.inject	Jersey-HK2	2.34
org.hibernate.validator	hibernate-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	anotações	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	JSON4S-ast_2.12	3.7.0-M11
org.json4s	JSON4S-core_2.12	3.7.0-M11
org.json4s	JSON4S-jackson_2,12	3.7.0-M11
org.json4s	JSON4S-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.4
org.mlflow	MLFLOW-Faísca	1.27.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.3
org.roaringbitmap	RoaringBitmap	0.9.25
org.roaringbitmap	calços	0.9.25
org.rocksdb	rocksdbjni	6.24.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	Escala-compiler_2.12	2.12.14
org.scala-lang	Escala-library_2.12	2.12.14
org.scala-lang	Escala-reflect_2,12	2.12.14
org.scala-lang.modules	scala-coleção-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	Escala-xml_2.12	1.2.0
org.scala-sbt	interface de teste	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	Brisa-macros_2.12	1.2
org.scalanlp	breeze_2.12	1.2
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	jul-to-slf4j	1.7.36
org.slf4j	slf4j-api	1.7.36
org.spark-project.spark	não utilizado	1.0.0
org.threeten	trêsdez-extra	1.5.0
org.tukaani	xz	1.8
org.typelevel	algebra_2.12	2.0.1
org.typelevel	gatos-kernel_2.12	2.1.1
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	torre-macros_2.12	0.17.0
org.typelevel	torre-platform_2.12	0.17.0
org.typelevel	torre-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	mosca-selvagem-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1