Partilhar via

Databricks Runtime 11.0 (EoS)

Observação

O suporte para esta versão do Databricks Runtime terminou. Para a data de fim de suporte, consulte Fim de suporte e histórico de fim de vida útil. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.0, desenvolvido pelo Apache Spark 3.3.0. A Databricks lançou esta versão em junho de 2022.

Novos recursos e melhorias

Nova versão do Apache Spark

O Databricks Runtime 11.0 e o Databricks Runtime 11.0 Photon incluem o Apache Spark 3.3.0. Para obter detalhes, consulte Apache Spark.

Os notebooks Python usam agora o kernel IPython

No Databricks Runtime 11.0 e superiores, os notebooks Python utilizam o kernel IPython para executar código Python. Consulte IPython kernel.

Suporte para ipywidgets

Agora pode usar o ipywidgets para tornar os seus cadernos Python Databricks interativos. Veja ipywidgets.

O conector Synapse agora grava dados do Parquet no modo não herdado

O conector do Azure Synapse agora escreve dados Parquet no modo não-legado. Ele preserva o formato de carimbo de data/hora ao usar o INT96 PolyBase e os comandos COPY para cargas de trabalho em lote e streaming.

Esquema HTTPS agora aplicado quando o cliente ABFS usa o token SAS

Quando o cliente Azure Blob File System (ABFS) utiliza um token de Assinatura de Acesso Partilhado (SAS), o esquema HTTPS é agora aplicado.

SQL: DESC agora é um alias para DESCRIBE

Agora você pode usar DESC como um alias para DESCRIBE ao descrever locais externos ou credenciais de armazenamento. Por exemplo:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: Nova current_version função produz detalhes da versão

A nova current_version função gera a versão atual do Databricks Runtime, se disponível, a versão atual do Databricks SQL, se disponível, e outros detalhes da versão relacionados. Use essa nova função para consultar informações relacionadas à versão. Consulte a função current_version.

Descartar uma restrição de tabela Delta ausente agora gera um erro

Se você agora tentar descartar uma restrição de tabela Delta pelo nome, e essa restrição não existir, você receberá um erro. Para obter o comportamento anterior, que não gera um erro se a restrição não existir, agora você deve usar a instrução IF EXISTS. Consulte ALTER TABLE.

SQL: Nova cláusula EXCEPT na instrução SELECT exclui colunas da seleção

SELECT instruções agora suportam a cláusula EXCEPT para excluir colunas da seleção. Por exemplo, SELECT * EXCEPT (x) FROM table retorna todas as colunas do table, exceto x. Colunas aninhadas também são permitidas. Por exemplo, SELECT * EXCEPT (x.a) FROM table retorna todas as colunas do table, mas omite o campo a de struct x.

Suporte para remover colunas em tabelas Delta (Pré-visualização pública)

Você pode usar ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> ou ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) para soltar uma coluna ou uma lista de colunas, respectivamente, de uma tabela Delta como uma operação somente de metadados. As colunas são efetivamente "excluídas de forma não definitiva", uma vez que ainda permanecem nos ficheiros Parquet subjacentes, mas já não são visíveis para a tabela Delta.

Você pode usar REORG TABLE <table-name> APPLY (PURGE) para disparar uma regravação de arquivo nos arquivos que contêm quaisquer dados excluídos suavemente, como colunas soltas.

Você pode usar VACUUM para remover os arquivos excluídos do armazenamento físico, incluindo os arquivos antigos que contêm colunas soltas e foram reescritos por REORG TABLE.

COPY INTO melhorias

Agora você pode criar tabelas Delta de espaço reservado vazias para que o esquema seja inferido posteriormente durante um comando COPY INTO:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

A instrução SQL anterior é idempotente e pode ser programada para ser executada para ingerir dados exatamente uma vez em uma tabela Delta.

Observação

A tabela Delta vazia não é utilizável fora do COPY INTO. Não é possível usar INSERT INTO e MERGE INTO para gravar dados em tabelas Delta sem esquema. Depois que os dados são inseridos na tabela com COPY INTO, a tabela é consultável.

Se os dados que você está ingerindo não podem ser lidos devido a algum problema de corrupção, você pode ignorar arquivos corrompidos definindo ignoreCorruptFiles como true no FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

O comando COPY INTO retorna o número de arquivos que foram ignorados devido a corrupção na coluna num_skipped_corrupt_files. Essa métrica também aparece na coluna operationMetrics em numSkippedCorruptFiles depois de executar DESCRIBE HISTORY na tabela Delta.

Os arquivos corrompidos não são rastreados pelo COPY INTO, portanto, podem ser recarregados em uma execução subsequente se a corrupção for corrigida. Você pode ver quais arquivos estão corrompidos executando COPY INTO no VALIDATE modo.

CONVERT TO DELTA agora é suportado em ambientes habilitados para Unity Catalog (Visualização pública)

Em ambientes habilitados paraUnity-Catalog, com você pode agora:

  • Converta ficheiros Parquet em localizações externas para o Delta Lake.
  • Converta tabelas externas do Parquet em tabelas Delta.

Alterações de comportamento

SQL: lpad e rpad as funções agora suportam sequências de bytes

As funções lpad e rpad foram atualizadas para adicionar suporte para sequências de bytes, além de strings.

O formato de sequência de caracteres em format_string e printf já não permite %0$

Especificar o formato %0$ nas format_string funções e printf agora gera um erro por padrão. Essa alteração é para preservar o comportamento esperado com versões anteriores do Databricks Runtime e bancos de dados comuns de terceiros. O primeiro argumento deve sempre fazer referência a %1$ quando você usa um índice de argumento para indicar a posição do argumento na lista de argumentos.

Valores nulos em arquivos CSV agora são gravados como cadeias de caracteres vazias sem aspas por padrão

Os valores nulos em arquivos CSV foram previamente gravados como cadeias de caracteres vazias entre aspas. Com esta versão, os valores nulos em arquivos CSV agora são gravados como cadeias de caracteres vazias sem aspas por padrão. Para voltar ao comportamento anterior, defina a opção nullValue como "" para operações de gravação.

A propriedade de tabela external agora está reservada

A propriedade external agora é uma propriedade de tabela reservada por padrão. Agora, exceções são lançadas quando utilizas a propriedade external com as cláusulas CREATE TABLE ... TBLPROPERTIES e ALTER TABLE ... SET TBLPROPERTIES.

Log4j é atualizado de Log4j 1 para Log4j 2

O Log4j 1 está sendo atualizado para o Log4j 2. As dependências herdadas do Log4j 1 estão sendo removidas.

Se você depender das classes Log4j 1 que foram incluídas anteriormente dentro do Databricks Runtime, essas classes não existem mais. Você deve atualizar suas dependências para o Log4j 2.

Se você tiver plug-ins personalizados ou arquivos de configuração que dependem do Log4j 2, eles podem não funcionar mais com a versão do Log4j 2 nesta versão. Para assistência, contacte a sua equipa de contas Azure Databricks.

As bibliotecas instaladas a partir do Maven agora são resolvidas no seu plano de computação por padrão.

As bibliotecas Maven agora são resolvidas em seu plano de computação por padrão quando você instala bibliotecas em um cluster. O cluster deve ter acesso ao Maven Central. Como alternativa, você pode reverter para o comportamento anterior definindo a propriedade de configuração do Spark:

spark.databricks.libraries.enableMavenResolution false

Correções de erros

  • A compatibilidade binária para LeafNode, UnaryNodee BinaryNode entre o Apache Spark e o Databricks Runtime foi corrigida e as classes agora são compatíveis com o Apache Spark 3.3.0 e superior. Se você encontrar a seguinte mensagem ou uma mensagem semelhante ao usar um pacote de terceiros com o Databricks Runtime, reconstrua o pacote com o Apache Spark 3.3.0 ou superior: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Atualizações da biblioteca

  • Bibliotecas Python melhoradas:
    • platformdirs de 2.5.1 a 2.5.2
    • protobuf de 3.20.0 a 3.20.1
  • Bibliotecas R atualizadas:
    • blob de 1.2.2 a 1.2.3
    • vassoura de 0.7.12 a 0.8.0
    • Caret de 6.0-91 para 6.0-92
    • CLI de 3.2.0 a 3.3.0
    • dplyr de 1.0.8 a 1.0.9
    • futuro de 1.24.0 a 1.25.0
    • future.apply de 1.8.1 para 1.9.0
    • Atualização do gert da versão 1.5.0 para a 1.6.0
    • ggplot2 de 3.3.5 a 3.3.6
    • glmnet de 4.1-3 a 4.1-4
    • refúgio de 2.4.3 a 2.5.0
    • HTTR de 1.4.2 a 1.4.3
    • knitr de 1,38 a 1,39
    • magrittr de 2.0.2 a 2.0.3
    • paralelamente de 1.30.0 a 1.31.1
    • ps de 1.6.0 a 1.7.0
    • RColorBrewer de 1.1-2 a 1.1-3
    • RcppEigen de 0.3.3.9.1 a 0.3.3.9.2
    • readxl de 1.3.1 a 1.4.0
    • rmarkdown de 2.13 para 2.14
    • rprojroot de 2.0.2 para 2.0.3
    • RSQLite de 2.2.11 a 2.2.13
    • escalas de 1.1.1 a 1.2.0
    • testthat de 3.1.2 a 3.1.4
    • Tibble de 3.1.6 a 3.1.7
    • tinytex de 0,37 a 0,38
    • TZDB de 0.2.0 a 0.3.0
    • uuid de 1.0-4 a 1.1-0
    • vctrs de 0.3.8 a 0.4.1
  • Bibliotecas Java atualizadas:
    • com.fasterxml.jackson.core.jackson-annotations de 2.13.0 a 2.13.3
    • com.fasterxml.jackson.core.jackson-core de 2.13.0 a 2.13.3
    • com.fasterxml.jackson.core.jackson-databind de 2.13.0 a 2.13.3
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.0 a 2.13.3
    • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.0 a 2.13.3
    • com.fasterxml.jackson.module.jackson-module-paranamer da versão 2.13.0 para a versão 2.13.3
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.0 a 2.13.3
    • com.google.crypto.tink.tink de 1.6.0 a 1.6.1
    • com.ning.compress-lzf de 1.0.3 a 1.1
    • dev.ludovic.netlib.arpack de 2.2.0 a 2.2.1
    • dev.ludovic.netlib.blas de 2.2.0 a 2.2.1
    • dev.ludovic.netlib.lapack de 2.2.0 a 2.2.1
    • io.netty.netty-all de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-buffer de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-codec de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-common de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-handler de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-resolver de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-tcnative-classes de 2.0.46.Final a 2.0.48.Final
    • io.netty.netty-transport de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-transport-classes-epoll de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-transport-classes-kqueue de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-aarch_64 de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-transport-native-epoll-linux-x86_64 de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-aarch_64 atualizado da versão 4.1.73.Final para a versão 4.1.74.Final
    • io.netty.netty-transport-native-kqueue-osx-x86_64 de 4.1.73.Final a 4.1.74.Final
    • io.netty.netty-transport-native-unix-common de 4.1.73.Final a 4.1.74.Final
    • joda-time.joda-time de 2.10.12 a 2.10.13
    • org.apache.commons.commons-math3 de 3.4.1 a 3.6.1
    • org.apache.httpcomponents.httpcore de 4.4.12 a 4.4.14
    • org.apache.orc.orc-core de 1.7.3 a 1.7.4
    • org.apache.orc.orc-mapreduce de 1.7.3 para 1.7.4
    • org.apache.orc.orc-shims de 1.7.3 a 1.7.4
    • org.eclipse.jetty.jetty-client de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-continuation de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-http de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-io de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-jndi de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-plus de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-proxy de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-security de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-server de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-servlets de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-util-ajax de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-webapp de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.jetty-xml de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-api de versão 9.4.43.v20210629 para versão 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-client de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-common de 9.4.43.v20210629 para 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-server de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.eclipse.jetty.websocket.websocket-servlet de 9.4.43.v20210629 a 9.4.46.v20220331
    • org.mariadb.jdbc.mariadb-java-client de 2.2.5 a 2.7.4
    • org.postgresql.postgresql de 42.2.19 a 42.3.3
    • Atualização do org.roaringbitmap.RoaringBitmap de 0.9.23 para 0.9.25
    • org.roaringbitmap.shims de 0.9.23 para 0.9.25
    • org.rocksdb.rocksdbjni de 6.20.3 a 6.24.2
    • org.slf4j.jcl-over-slf4j de 1.7.32 para 1.7.36
    • org.slf4j.jul-to-slf4j de 1.7.32 até 1.7.36
    • org.slf4j.slf4j-api de 1.7.30 a 1.7.36

Apache Spark

O Databricks Runtime 11.0 inclui o Apache Spark 3.3.0.

Nesta secção:

Spark SQL e Core

Modo ANSI

  • Novas regras explícitas de sintaxe de transmissão no modo ANSI (SPARK-33354)
  • Elt() deve retornar null se index for null no modo ANSI (SPARK-38304)
  • Opcionalmente, retorne o resultado nulo se o elemento não existir na matriz/mapa (SPARK-37750)
  • Permitir conversão entre o tipo numérico e o tipo de carimbo de data/hora (SPARK-37714)
  • Desativar palavras-chave reservadas ANSI por padrão (SPARK-37724)
  • Usar regras de atribuição de armazenamento para resolver a invocação de função (SPARK-37438)
  • Adicione uma configuração para permitir a transmissão entre Data/hora e Numérico (SPARK-37179)
  • Adicionar uma configuração para impor opcionalmente palavras-chave reservadas ANSI (SPARK-37133)
  • Não permitir operações binárias entre Intervalo e cadeia de caracteres literal (SPARK-36508)

Melhorias de funcionalidades

  • Suporte aos tipos INTERVAL de ANSI SQL (SPARK-27790)
  • Melhorias na mensagem de erro (SPARK-38781)
  • Suporte a metadados de arquivos ocultos para Spark SQL (SPARK-37273)
  • Suporte literal de cadeia de caracteres bruta (SPARK-36371)
  • Classe auxiliar para o lote Dataset.observe() (SPARK-34806)
  • Suporte para especificar o número de partição inicial para reequilíbrio (SPARK-38410)
  • Suporte ao modo cascata para dropNamespace API (SPARK-37929)
  • Permitir atribuição de armazenamento e conversão implícita entre tipos de data/hora (SPARK-37707)
  • Funções agregadas como Coletar, Primeiro e Último devem ser determinísticas (SPARK-32940)
  • Adicionar ExpressionBuilder para funções com sobrecargas complexas (SPARK-37164)
  • Adicionar suporte de matriz à união por nome (SPARK-36546)
  • Adicionar df.withMetadata: um açúcar sintático destinado a atualizar os metadados de um dataframe (SPARK-36642)
  • Suporte literal de cadeia de caracteres bruta (SPARK-36371)
  • Use CAST na análise de datas/carimbos de data/hora com padrão padrão (SPARK-36418)
  • Classe de valores de suporte no esquema aninhado para Dataset (SPARK-20384)
  • Adicionar suporte de sintaxe AS OF (SPARK-37219)
  • Adicione REPEATABLE em TABLESAMPLE para especificar seed (SPARK-37165)
  • Adicionar sintaxe ansi set catalog xxx para alterar o catálogo atual (SPARK-36841)
  • Suporte ILIKE (TODOS | QUALQUER | ALGUNS) - insensível a maiúsculas e minúsculas LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
  • Suportar a fase de consulta para exibir estatísticas de execução em modo de explicação formatado (SPARK-38322)
  • Adicionar métricas de tamanho de derramamento para junção de mesclagem de classificação (SPARK-37726)
  • Atualizar a sintaxe SQL do SHOW FUNCTIONS (SPARK-37777)
  • Suporta a sintaxe DROP COLUMN [IF EXISTS] (SPARK-38939)
  • Novas funções integradas e suas extensões (SPARK-38783)
    • Data/hora
    • Funções AES (SPARK-12567)
      • Adicionar funções incorporadas aes_encrypt e aes_decrypt (SPARK-12567)
      • Suporte ao modo GCM por aes\_encrypt()/aes\_decrypt() (SPARK-37591)
      • Defina GCM como o modo padrão no aes\_encrypt()/aes\_decrypt() (SPARK-37666)
      • Adicione os argumentos mode e padding a aes\_encrypt()/aes\_decrypt() (SPARK-37586)
    • Função de agregação ANSI (SPARK-37671)
      • Suportar Função Agregada ANSI: regr_count (SPARK-37613)
      • Suporte à Função Agregada ANSI: regr_avgx & regr_avgy (SPARK-37614)
      • Função de agregação ANSI de suporte: percentile_cont (SPARK-37676, SPARK-38219)
      • Suporte para a função de agregação ANSI: percentile_disc (SPARK-37691)
      • Suportar Função Agregada ANSI: regr_count (SPARK-37613)
      • Suporte a Função de Agregação ANSI: array_agg (SPARK-27974)
      • Suporte Função Agregada ANSI: regr_r2 (SPARK-37641)
      • Nova função SQL: try_avg (SPARK-38589)
    • Coleções
    • Formato
    • Cadeia de caracteres/binário
      • Adicionar função de cadeia de caracteres CONTAINS() (SPARK-37508)
      • Adicionar as funções de string startswith() e endswith() (SPARK-37520)
      • Adicionar funções lpad e rpad para strings binárias (SPARK-37047)
      • Suporte à função split_part (SPARK-38063)
    • Adicionar parâmetro de escala às funções de piso e ceil (SPARK-37475)
    • Novas funções SQL: try_subtract e try_multiply (SPARK-38164)
    • Implementa a função de agregação histogram_numeric, que suporta a agregação parcial (SPARK-16280)
    • Adicionar max_by/min_by a sql.functions (SPARK-36963)
    • Adicione novas funções SQL integradas: SEC e CSC (SPARK-36683)
    • array_intersect trata duplicados Double.NaN e Float.NaN (SPARK-36754)
    • Adicionar o cot como funções de Scala e Python (SPARK-36660)

Melhorias de desempenho

  • Geração de código abrangendo todas as etapas
    • Adicionar geração de código para agregação de classificação sem chaves de agrupamento (SPARK-37564)
    • Adicionar code-gen para junção de mesclagem externa completa (SPARK-35352)
    • Adicionar geração de código para junção embaralhada de hash externa completa (SPARK-32567)
    • Adicionar code-gen para existence sort merge join (SPARK-37316)
  • Empurrar para baixo (filtros)
    • Empurre os filtros para baixo através de RebalancePartitions (SPARK-37828)
    • Empurre para baixo o filtro de coluna booleana (SPARK-36644)
    • Empurre para baixo o limite 1 para o lado direito da junção semi/anti esquerda se a condição de junção estiver vazia (SPARK-37917)
    • Traduzir mais funções agregadas padrão para pushdown (SPARK-37527)
    • Suporte propagar relação vazia através de agregado/união (SPARK-35442)
    • Filtragem de tempo de execução em nível de linha (SPARK-32268)
    • Suporte Left Semi join em filtros de tempo de execução em nível de linha (SPARK-38565)
    • Suporte a pushdown de predicados e poda de coluna para CTEs desenganados (SPARK-37670)
  • Vetorização
    • Implementar um ConstantColumnVector e melhorar o desempenho dos metadados de arquivo oculto (SPARK-37896)
    • Habilitar leitura vetorizada para VectorizedPlainValuesReader.readBooleans (SPARK-35867)
  • Combinar/remover/substituir nós
    • Combinar sindicatos se houver um projeto entre eles (SPARK-37915)
    • Combine numa única conversão se pudermos fundir com segurança duas conversões (SPARK-37922)
    • Remova o Sort se for filho de RepartitionByExpression (SPARK-36703)
    • Remove a junção externa se ela tiver apenas DISTINCT no lado transmitido com alias (SPARK-37292)
    • Substitua hash por sort aggregate se o filho já estiver classificado (SPARK-37455)
    • Só recolher projetos se não duplicarmos expressões caras (SPARK-36718)
    • Remover aliases redundantes após RewritePredicateSubquery (SPARK-36280)
    • Mesclar subconsultas escalares não correlacionadas (SPARK-34079)
  • Particionamento
    • Não adicione remoção de partição dinâmica se existir remoção de partição estática (SPARK-38148)
    • Melhorar RebalancePartitions em regras do Optimizer (SPARK-37904)
    • Adicionar fator de partição pequeno para reequilibrar partições (SPARK-37357)
  • Aderir
    • Ajuste a lógica para rebaixar a junção de hash de transmissão no DynamicJoinSelection (SPARK-37753)
    • Ignore chaves de junção duplicadas ao criar relação para junção hash embaralhada SEMI/ANTI (SPARK-36794)
    • Suporte para otimizar a junção enviesada, mesmo que isso introduza um shuffle extra (SPARK-33832)
  • AQE
    • Suporta a eliminação de limites no Otimizador AQE (SPARK-36424)
    • Otimize o plano de uma única linha no modo normal e no Otimizador AQE (SPARK-38162)
  • Aggregate.groupOnly suporta expressões dobráveis (SPARK-38489)
  • ByteArrayMethods arrayEquals deve ignorar rapidamente a verificação de alinhamento com a plataforma não alinhada (SPARK-37796)
  • Adicionar poda de padrão de árvore à regra CTESubstitution (SPARK-37379)
  • Adicionar mais simplificações do operador lógico "Not" (SPARK-36665)
  • Suporte para BooleanType em UnwrapCastInBinaryComparison (SPARK-36607)
  • Coalesce descartar todas as expressões depois da primeira expressão não anulável (SPARK-36359)
  • Adicionar um visitador de plano lógico para propagar os atributos distintos (SPARK-36194)

Melhorias no conector integrado

  • Geral
    • Serialização leniente de datetime da fonte de dados (SPARK-38437)
    • Trate a localização da tabela como absoluta quando a primeira letra de seu caminho é barrada na tabela create/alter (SPARK-38236)
    • Remova zeros à esquerda da partição de tipo de número estático vazia (SPARK-35561)
    • Suporte ignoreCorruptFiles e ignoreMissingFiles nas opções de fonte de dados (SPARK-38767)
    • Adicionar comando SHOW CATALOGS (SPARK-35973)
  • Parquet
    • Ativar a correspondência de nomes de colunas de esquema por IDs de campo (SPARK-38094)
    • Remova o nome do campo de verificação ao ler/gravar dados em parquet (SPARK-27442)
    • Suporte à leitura vetorizada de valores booleanos utilizando codificação RLE com Parquet DataPage V2 (SPARK-37864)
    • Suporte a codificação de página de dados do Parquet v2 (DELTA_BINARY_PACKED) para o caminho vetorizado (SPARK-36879)
    • Rebasear carimbos de data e hora no fuso horário da sessão salvos nos metadados Parquet/Avro (SPARK-37705)
    • Empurre para baixo grupo por coluna de partição para agregado (SPARK-36646)
    • Agregado (Mín./Máx./Contagem) empurre para baixo para Parquet (SPARK-36645)
    • Parquet: ativar colunas de esquema correspondentes por id de campo (SPARK-38094)
    • Reduza o tamanho padrão da página em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem utilizados (SPARK-37593)
    • Implementar codificações vetorizadas DELTA_BYTE_ARRAY e DELTA_LENGTH_BYTE_ARRAY para suporte ao Parquet V2 (SPARK-37974)
    • Suporte a tipos complexos para leitor vetorizado Parquet (SPARK-34863)
  • ORC
    • Remova o nome do campo de verificação ao ler/gravar dados existentes no Orc (SPARK-37965)
    • Pressão agregada para baixo para ORC (SPARK-34960)
    • Suporte a leitura e gravação de intervalos ANSI de/para fontes de dados ORC (SPARK-36931)
    • Suporte a nomes de coluna somente de números em fontes de dados ORC (SPARK-36663)
  • JSON
    • Respeite allowNonNumericNumbers ao analisar valores "NaN" e "Infinity" citados no leitor JSON (SPARK-38060)
    • Usar CAST para datetime em CSV/JSON por padrão (SPARK-36536)
    • Alinhar mensagem de erro para tipos de chave não suportados no MapType no leitor Json (SPARK-35320)
  • CSV
    • Correção referente à coluna de registro corrompido do CSV (SPARK-38534)
    • valores nulos devem ser salvos como nada em vez de Strings vazias entre aspas "" por padrão (SPARK-37575)
  • JDBC
    • Adicione a instrução IMMEDIATE à implementação truncada do dialeto DB2 (SPARK-30062)
  • Hive
    • Suporte para escrita de tabela Hive particionada em buckets (formatos de ficheiro Hive com hash do Hive) (SPARK-32712)
    • Usar expressões para filtrar partições do Hive no lado do cliente (SPARK-35437)
    • Suportar a poda de partições dinâmicas para HiveTableScanExec (SPARK-36876)
    • InsertIntoHiveDir deve usar fonte de dados se for conversível (SPARK-38215)
    • Suporte para escrever tabela particionada do Hive (formato Parquet/ORC com hash Hive) (SPARK-32709)

Desmantelamento do nó

  • FallbackStorage não deve tentar resolver nomes de host "remotos" arbitrários (SPARK-38062)
  • ExecutorMonitor.onExecutorRemoved deve tratar ExecutorDecommission como concluído (SPARK-38023)

Outras mudanças notáveis

  • Adicione bloqueio refinado ao BlockInfoManager (SPARK-37356)
  • Suporte ao mapeamento de tipos de recursos Spark gpu/fpga para o tipo de recurso YARN personalizado (SPARK-37208)
  • Informe o tamanho preciso do bloco aleatório se estiver distorcido (SPARK-36967)
  • Suporte ao Netty Logging na camada de rede (SPARK-36719)

Transmissão em Fluxo Estruturada

Principais características

  • Introduza Trigger.AvailableNow para executar consultas de streaming como Trigger.Once em vários lotes (SPARK-36533)

Outras mudanças notáveis

  • Use StatefulOpClusteredDistribution para operadores com estado, mantendo a compatibilidade retroativa (SPARK-38204)
  • Corrigir o tempo limite de flatMapGroupsWithState em lote com dados para chave (SPARK-38320)
  • Corrigir problema de precisão na junção externa de fluxo a fluxo com o fornecedor de armazenamento de estado RocksDB (SPARK-38684)
  • Suporte para Trigger.AvailableNow na fonte de dados Kafka (SPARK-36649)
  • Otimizar caminho de gravação no provedor de armazenamento de estado RocksDB (SPARK-37224)
  • Introduzir uma nova fonte de dados para fornecer um conjunto consistente de linhas por microlote (SPARK-37062)
  • Use HashClusteredDistribution para operadores com estado mantendo a compatibilidade com versões anteriores (SPARK-38204)

PySpark

API de Pandas em Spark

Principais melhorias
  • Otimização do índice de 'sequência distribuída' como padrão (SPARK-36559, SPARK-36338)
    • Suporte para especificar o tipo de índice e o nome na API pandas no Spark (SPARK-36709)
    • Mostrar tipo de índice padrão em planos SQL para pandas API no Spark (SPARK-38654)
Principais características
  • Implementar ps.merge_asof nativo do SparkSQL (SPARK-36813)
  • Suporte para TimedeltaIndex na API pandas em Spark (SPARK-37525)
  • Suporte ao timedelta da Python (SPARK-37275, SPARK-37510)
  • Implementar funções em CategoricalAccessor/CategoricalIndex (SPARK-36185)
  • Utiliza o formador de strings padrão da Python para API SQL na API pandas no Spark (SPARK-37436)
  • Suporte a operações básicas da série/índice timedelta (SPARK-37510)
  • Suporte para ps.MultiIndex.dtypes (SPARK-36930)
  • Implementar Index.map (SPARK-36469)
  • Implementar Series.xor e Series.rxor (SPARK-36653)
  • Implementar operador invert unário de ps integral. Série/Índice (SPARK-36003)
  • Implementar DataFrame.cov (SPARK-36396)
  • Suporta str e timestamp para (Series|DataFrame).describe() (SPARK-37657)
  • Suporte ao parâmetro lambda column de DataFrame.rename(SPARK-38763)

Outras mudanças notáveis

Alterações de grande impacto
  • Eliminar referências ao suporte Python 3.6 em documentação e python/docs (SPARK-36977)
  • Remover namedtuple hack substituindo o pickle integrado por cloudpickle (SPARK-32079)
  • Atualizar a versão mínima do pandas para 1.0.5 (SPARK-37465)
  • Principais melhorias
    • Fornecer um perfilador para UDFs Python/Pandas (SPARK-37443)
    • Utiliza o formatador de strings padrão da Python para a API SQL no PySpark (SPARK-37516)
    • Expor o estado SQL e a classe de erro em exceções do PySpark (SPARK-36953)
    • Tente capturar o manipulador de falhas quando um trabalhador Python falha (SPARK-36062)
Principais características
  • Implementar o DataFrame.mapInArrow em Python (SPARK-37228)
  • Utiliza o formatador de strings padrão da Python para a API SQL no PySpark (SPARK-37516)
  • Adicionar df.withMetadata pyspark API (SPARK-36642)
  • Suporte ao timedelta da Python (SPARK-37275)
  • Expor tabelaExiste em pyspark.sql.catalog (SPARK-36176)
  • Tornar visível databaseExists em pyspark.sql.catalog (SPARK-36207)
  • Expondo função Existe no catálogo SQL de PySpark (SPARK-36258)
  • Adicionar o DataFrame.observation ao PySpark (SPARK-36263)
  • Adicionar API max_by/min_by ao PySpark (SPARK-36972)
  • Suporte para inferir ditado aninhado como uma estrutura ao criar um DataFrame (SPARK-35929)
  • Adicionar APIs bit/octet_length ao Scala, Python e R (SPARK-36751)
  • Suporte à API ILIKE em Python (SPARK-36882)
  • Método Add isEmpty para a API Python DataFrame (SPARK-37207)
  • Adicionar várias colunas com suporte (SPARK-35173)
  • Adicionar SparkContext.addArchive no PySpark (SPARK-38278)
  • Tornar o tipo SQL em representações avaliáveis (SPARK-18621)
  • Sugestões de tipo inline para fpm.py em python/pyspark/mllib (SPARK-37396)
  • Implementar dropna parâmetro de SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Principais características

  • Adicionar distanceMeasure param a trainKMeansModel (SPARK-37118)
  • Expor LogisticRegression.setInitialModel, tal como KMeans o faz (SPARK-36481)
  • Propor suporte para o CrossValidatorModel obter o desvio padrão das métricas para cada paramMap (SPARK-36425)

Principais melhorias

  • Otimize alguns "treeAggregates" no MLlib ao atrasar as alocações (SPARK-35848)
  • Reescreva _shared_params_code_gen.py para incorporar sugestões de tipos no ficheiro ml/param/shared.py (SPARK-37419)

Outras mudanças notáveis

SparkR

IU

  • Resumo das métricas de especulação ao nível da etapa (SPARK-36038)
  • Tempo de espera de bloco de leitura aleatório unificado para baralhar o tempo de espera de busca de leitura no StagePage (SPARK-37469)
  • Adicionar configurações modificadas para execução de SQL na interface do usuário (SPARK-34735)
  • Faça o ThriftServer reconhecer spark.sql.redaction.string.regex (SPARK-36400)
  • Anexar e iniciar o manipulador após a aplicação estar iniciada na interface do utilizador (SPARK-36237)
  • Adicionar duração de confirmação ao nó gráfico da guia SQL (SPARK-34399)
  • Suporte ao backend RocksDB no Spark History Server (SPARK-37680)
  • Mostrar opções para a API do Pandas no Spark na interface do utilizador (SPARK-38656)
  • Renomeie 'SQL' para 'SQL / DataFrame' na página da interface do usuário do SQL (SPARK-38657)

Construir

Atualizações de manutenção

Consulte Databricks Runtime 11.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Lago Delta: 1.2.1

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (ISO-Contínuo) argon2-cffi 20.1.0 gerador assíncrono 1.10
Atributos 21.2.0 Chamada de retorno 0.2.0 backports.pontos-de-entrada-selecionáveis 1.1.1
lixívia 4.0.0 boto3 1.21.18 Botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 Chardet 4.0.0
Normalizador de Charset 2.0.4 ciclista 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorador 5.1.0
defusedxml 0.7.1 Distlib 0.3.4 distro-info 0,23ubuntu1
pontos de entrada 0,3 facetas-visão geral 1.0.0 bloqueio de arquivo 3.6.0
IDNA 3.2 Ipykernel 6.12.1 IPython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 Jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 Joblib 1.0.1
jsonschema 3.2.0 Jupyter Client 6.1.12 Jupyter-Core 4.8.1
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 Matplotlib 3.4.3 matplotlib-inline 0.1.2
Mistune 0.8.4 nbclient 0.5.3 nbconvert 6.1.0
nbformat 5.1.3 nest-asyncio 1.5.1 bloco de notas 6.4.5
numpy 1.20.3 embalagem 21.0 pandas 1.3.4
PandocFilters 1.4.3 Parso 0.8.2 vítima 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Almofada 8.4.0
pip 21.2.4 platformdirs 2.5.2 enredo 5.6.0
Prometheus-Cliente 0.11.0 kit de ferramentas de prompt 3.0.20 Protobuf 3.20.1
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
Pyarrow 7.0.0 Pycparser 2,20 Pigmentos 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.8.2
Pytz 2021.3 Pyzmq 22.2.1 pedidos 2.26.0
requests-unixsocket 0.2.0 s3transfer 0.5.2 scikit-learn (biblioteca de aprendizado de máquina em Python) 0.24.2
SciPy 1.7.1 nascido no mar 0.11.2 Send2Trash 1.8.0
Ferramentas de configuração 58.0.4 seis 1.16.0 ssh-import-id 5.10
statsmodels (uma biblioteca de Python para modelos estatísticos) 0.12.2 tenacidade 8.0.1 concluído 0.9.4
caminho de teste 0.5.0 ThreadPoolCtl 2.2.0 tornado 6.1
traitlets 5.1.0 Atualizações não supervisionadas 0.1 urllib3 1.26.7
virtualenv 20.8.0 wcwidth 0.2.5 codificações da web 0.5.1
wheel 0.37.0 widgetsnbextension 3.6.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot do Microsoft CRAN a 06-05-2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserir que 0.2.1 Retroportagens 1.4.1
base 4.1.3 base64enc 0.1-3 pouco 4.0.4
bit-64 4.0.5 blob 1.2.3 inicialização 1.3-28
fabricação de cerveja 1.0-7 Brio 1.1.3 vassoura 0.8.0
bslib 0.3.1 cachemira 1.0.6 Chamador 3.7.0
caret 6.0-92 CellRanger 1.1.0 crono 2.3-56
classe 7.3-20 CLI 3.3.0 Clipr 0.8.0
cluster 2.1.3 CodeTools 0.2-18 espaço de cores 2.0-3
marca comum 1.8.0 compilador 4.1.3 Configurações 0.3.1
cpp11 0.4.2 lápis de cor 1.5.1 credenciais 1.3.2
encaracolar 4.3.2 tabela de dados 1.14.2 conjuntos de dados 4.1.3
DBI 1.1.2 DBPlyr 2.1.1 descrição 1.4.1
DevTools 2.4.3 diffobj 0.3.5 resumo 0.6.29
DPLYR 1.0.9 DTPlyr 1.2.1 e1071 1.7-9
reticências 0.3.2 avaliar 0.15 Fansi 1.0.3
cores 2.1.0 mapa rápido 1.1.0 fontawesome 0.2.2
forçados 0.5.1 foreach 1.5.2 estrangeiro/a 0.8-82
forjar 0.2.0 FS 1.5.2 Futuro 1.25.0
futuro.apply 1.9.0 gargarejo 1.2.0 genérico 0.1.2
Gert 1.6.0 ggplot2 3.3.6 GH 1.3.0
gitcreds 0.1.1 glmnet 4.1-4 Variáveis globais 0.14.0
cola 1.6.2 GoogleDrive 2.0.0 googlesheets4 1.0.0
Gower 1.0.0 gráficos 4.1.3 grDispositivos 4.1.3
grelha 4.1.3 gridExtra 2.3 gsubfn 0.7
tabela g 0.3.0 capacete de proteção 0.2.0 Refúgio 2.5.0
mais alto 0,9 HMS (Navio de Sua Majestade) 1.1.1 htmltools 0.5.2
htmlwidgets (componentes HTML interativos) 1.5.4 httpuv 1.6.5 HTTR 1.4.3
IDs 1.0.1 ini 0.3.1 ipred 0.9-12
Banda isobárica 0.2.5 iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.0 KernSmooth 2.23-20 Knitr 1.39
etiquetagem 0.4.2 mais tarde 1.3.0 treliça 0.20-45
lave 1.6.10 ciclo de vida 1.0.1 ouvir 0.8.0
lubridato 1.8.0 Magrittr 2.0.3 Marcação 1.1
MASSA 7.3-56 Matriz 1.4-1 memorização 2.0.1
Metodologia 4.1.3 mgcv 1.8-40 mime 0,12
ModelMetrics 1.2.2.2 modelr 0.1.8 Munsell 0.5.0
nlme 3.1-157 NNET 7.3-17 numDeriv 2016.8 a 1.1
openssl (conjunto de ferramentas para criptografia) 2.0.0 paralelo 4.1.3 Paralelamente 1.31.1
pilar 1.7.0 pkgbuild 1.3.1 pkgconfig 2.0.3
pkgload 1.2.4 plogr 0.2.0 Plyr 1.8.7
elogios 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.5.3 Prodlim 2019.11.13 Progressos 1.2.2
progressr 0.10.0 promessas 1.2.0.1 prototipo 1.0.0
proxy 0.4-26 P.S. 1.7.0 purrr 0.3.4
r2d3 0.2.6 R6 2.5.1 randomForest 4.7-1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.8.3 RcppEigen 0.3.3.9.2 readr 2.1.2
readxl 1.4.0 receitas 0.2.0 nova partida 1.0.1
revanche2 2.1.2 Dispositivos remotos 2.4.2 Exemplo Reproduzível (Reprex) 2.0.1
remodelar2 1.4.4 rlang 1.0.2 rmarkdown 2.14
RODBC 1.3-19 roxygen2 7.1.2 rpart (função de partição recursiva em R) 4.1.16
rprojroot 2.0.3 Rserve 1.8-10 RSQLite 2.2.13
rstudioapi 0,13 rversions 2.1.1 Rvest 1.0.2
Sass 0.4.1 escalas 1.2.0 seletor 0.4-2
Informação da sessão 1.2.2 forma 1.4.6 brilhante 1.7.1
ferramentas de código-fonte 0.1.7 sparklyr 1.7.5 SparkR 3.3.0
espacial 7.3-11 splines 4.1.3 sqldf 0.4-11
SQUAREM 2021.1 estatísticas 4.1.3 estatísticas4 4.1.3
string 1.7.6 stringr 1.4.0 Sobrevivência 3.2-13
Sistema 3.4 tcltk (uma linguagem de programação) 4.1.3 testthat 3.1.4
Tibble 3.1.7 tidyr 1.2.0 tidyselect 1.1.2
Tidyverse 1.3.1 data e hora 3043.102 Tinytex 0,38
Ferramentas 4.1.3 tzdb 0.3.0 usethis 2.1.5
UTF8 1.2.2 utilitários 4.1.3 Identificador Único Universal (UUID) 1.1-0
VCTRS 0.4.1 viridisLite 0.4.0 vruum 1.5.7
Waldo 0.4.0 vibrissas 0.4 murchar 2.5.0
xfun 0.30 XML2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip (formato de arquivo) 2.2.0

Instalei as bibliotecas Java e Scala (versão do cluster Scala 2.12)

ID do grupo ID do artefato Versão
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling (SDK de Java da AWS - escalonamento automático) 1.12.189
com.amazonaws AWS-Java-SDK-CloudFormation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws AWS Java SDK para CloudSearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configuração do AWS Java SDK) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (kit de desenvolvimento de software Java para DirectConnect) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache (kit de desenvolvimento de software Java para Elasticache da AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk (SDK Java para Elastic Beanstalk da AWS) 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (SDK Java para equilíbrio de carga elástico da AWS) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (Biblioteca de armazenamento Glacier da AWS) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-aprendizado de máquina 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws AWS Java SDK para SES 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (SDK da AWS para Storage Gateway em Java) 1.12.189
com.amazonaws AWS-Java-SDK-STS 1.12.189
com.amazonaws aws-java-sdk-suporte 1.12.189
com.amazonaws aws-java-sdk-swf-bibliotecas 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombra kriogénica 4.0.2
com.esotericsoftware Minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core Jackson-Annotations 2.13.3
com.fasterxml.jackson.core Jackson-Core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor (formato de dados em CBOR) 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil Jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib sistema_nativo-Java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-nativos 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Goiaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2banco de dados h2 2.0.204
com.helger gerador de perfis 1.1.1
com.jcraft jsch 0.1.50
com.jolbox BoneCP 0.8.0.LANÇAMENTO
com.lihaoyi código-fonte_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK para Azure Data Lake Store) 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe Configurações 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity analisadores de univocidade 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
Commons Collections Commons Collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload (upload de ficheiros comuns) commons-fileupload (upload de ficheiros comuns) 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0,7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressor de ar 0.21
IO.Delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics métricas principais 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas e verificações de saúde 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics Métricas JMX 4.1.1
io.dropwizard.metrics métricas em formato JSON 4.1.1
io.dropwizard.metrics métricas do JVM 4.1.1
io.dropwizard.metrics Métricas-Servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty Netty Comum 4.1.74.Final
io.netty Netty Handler 4.1.74.Final
io.netty netty-resolver (resolução do Netty) 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty Netty-Transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-nativo-unix-comum 4.1.74.Final
io.prometeu simpleclient 0.7.0
io.prometeu simpleclient_comum 0.7.0
io.prometeu simpleclient_dropwizard 0.7.0
io.prometeu simpleclient_pushgateway 0.7.0
io.prometeu simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação jakarta.annotation.api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
Jakarta.validação jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.ativação ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind JAXB-API 2.2.11
Javolution Javolution 5.5.1
Jline Jline 2.14.6
joda-time joda-time 2.10.13
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine picles 1.2
net.sf.jpam JPAM 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve Snowflake Ingest SDK 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.14
net.floco de neve faísca-snowflake_2.12 2.10.0-spark_3.1
net.sourceforge.f2j arpack_combinado_tudo 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr ANTLR Runtime 3.5.2
org.antlr antlr4-tempo de execução 4.8
org.antlr StringTemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ANT-JSCH 1.9.2
org.apache.ant lançador de formigas 1.9.2
org.apache.arrow formato de flecha 7.0.0
org.apache.arrow núcleo de memória Arrow 7.0.0
org.apache.arrow Arrow-Memory-Netty 7.0.0
org.apache.arrow vetor gráfico de seta 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro AVRO-IPC 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons colecções-commons4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-texto 1.9
org.apache.curador curador-cliente 2.13.0
org.apache.curador Framework de Curadoria 2.13.0
org.apache.curador curador de receitas 2.13.0
org.apache.derby Dérbi 10.14.2.0
org.apache.hadoop hadoop-client-api (API do cliente Hadoop) 3.3.2-Databricks
org.apache.hadoop tempo de execução do cliente Hadoop 3.3.2
org.apache.hive colmeia-abelha 2.3.9
org.apache.hive Hive-CLI 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive API de armazenamento Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy hera 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-core 1.7.4
org.apache.orc orc-mapreduce 1.7.4
org.apache.orc Orc-cunhas 1.7.4
org.apache.parquet parquet-column 1.12.0-DATABRICKS-0004
org.apache.parquet parquet-common 1.12.0-DATABRICKS-0004
org.apache.parquet parquet-encoding 1.12.0-DATABRICKS-0004
org.apache.parquet estruturas de formato parquet 1.12.0-DATABRICKS-0004
org.apache.parquet parquet-hadoop 1.12.0-DATABRICKS-0004
org.apache.parquet parquet-jackson 1.12.0-DATABRICKS-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações do público 0.5.0
org.apache.zookeeper cuidador de zoológico 3.6.2
org.apache.zookeeper guarda de zoológico-juta 3.6.2
org.checkerframework verificador de qualidade 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-ASL 1.9.13
org.codehaus.janino compilador comum 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus DataNucleus Core 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty Jetty-Cliente 9.4.46.v20220331
org.eclipse.jetty jetty-continuation (componente de software do Jetty) 9.4.46.v20220331
org.eclipse.jetty Jetty-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty Jetty-Proxy 9.4.46.v20220331
org.eclipse.jetty Segurança do Jetty 9.4.46.v20220331
org.eclipse.jetty servidor jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty Jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplicação web Jetty 9.4.46.v20220331
org.eclipse.jetty Jetty-XML 9.4.46.v20220331
org.eclipse.jetty.websocket API WebSocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-cliente 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-Comum 9.4.46.v20220331
org.eclipse.jetty.websocket servidor websocket 9.4.46.v20220331
org.eclipse.jetty.websocket Websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 HK2-Localizador 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizador de recursos OSGi 1.0.3
org.glassfish.hk2.external aopalliance-reembalado 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet (serviço de contêiner Jersey) 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core Jersey comum 2.34
org.glassfish.jersey.core servidor Jersey 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator (ferramenta de validação de dados de Java) 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-converter 1.7
org.jodd JODD-CORE 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.objenesis objenesis 2.5.1
org.postgresql PostgreSQL 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap anilhas 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-compatível-com-slf4j 1.7.36
org.slf4j jul-para-slf4j 1.7.36
org.slf4j SLF4J-API 1.7.36
org.spark-project.spark não utilizado 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-plataforma_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.0.7.Final
org.xerial SQLITE-JDBC 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml Snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion íon-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on