O que é Entrada/Saída preditiva?

A E/S Preditiva é uma coleção de otimizações do Azure Databricks que aceleram a leitura e atualização de dados:

  • Leituras aceleradas aceleram consultas seletivas que, de outra forma, analisariam muito mais dados do que devolvem.
  • As atualizações aceleradas reduzem os dados reescritos quando uma atualização, eliminação ou fusão altera apenas algumas linhas num ficheiro.

A I/O Preditiva é exclusiva do motor Photon no Azure Databricks. Veja O que é Photon?.

Quando se aplica a I/O preditiva

O Predictive I/O é executado automaticamente. Não o ativa para consultas individuais. Para usufruir:

O I/O preditivo também se sobrepõe aos índices de filtro de Bloom. Ver índices de filtro de Bloom (obsoletos).

Use E/S preditiva para acelerar as leituras

A Entrada/Saída Preditiva é utilizada para acelerar o desempenho na leitura e filtragem de dados para todos os tipos de operações nos tipos de computação suportados.

Importante

As leituras preditivas de I/O são suportadas pelos tipos Serverless e Pro de armazenamentos SQL, bem como Clusters acelerados por Photon que utilizam o Databricks Runtime 11.3 LTS e versões superiores.

A E/S Preditiva melhora o desempenho da análise aplicando técnicas de aprendizagem profunda para:

  • Determine o padrão de acesso mais eficiente para ler os dados e analise apenas os dados realmente necessários.
  • Elimine a decodificação de colunas e linhas que não são necessárias para gerar resultados de consulta.
  • Calcule as probabilidades dos critérios de pesquisa em consultas seletivas que correspondam a uma linha. À medida que as consultas são executadas, o Predictive I/O utiliza estas probabilidades para antecipar onde ocorre a próxima linha correspondente e ler apenas esses dados do armazenamento na cloud.

Utilize E/S preditiva para acelerar atualizações

O I/O preditivo para atualizações é usado automaticamente para todas as tabelas que tenham vetores de eliminação ativados nestes tipos de computação com Photon ativado:

  • Armazéns SQL sem servidor.
  • Armazéns SQL Profissionais.
  • Clusters em execução no Databricks Runtime 14.0 ou superior.

Nota

O suporte para E/S preditiva para atualizações está presente no Databricks Runtime 12.2 LTS e superiores, mas o Databricks recomenda usar a versão 14.0 e superiores para melhor desempenho.

Ver Vetores de eliminação em Databricks.

Importante

Uma definição de administrador do espaço de trabalho controla se os vetores de eliminação estão automaticamente ativados para novas tabelas Delta Lake. Consulte Ativar vetores de exclusão automáticos.

Ativa o suporte para vetores de eliminação numa tabela Delta Lake ao definir uma propriedade de tabela Delta Lake. Pode ativar vetores de eliminação lógica durante a criação da tabela ou alterar uma tabela existente, por exemplo:

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Aviso

Quando ativas vetores de eliminação, a versão do protocolo de tabela é atualizada. Após a atualização, a tabela não é legível pelos clientes Delta Lake que não suportam vetores de eliminação. Consulte Compatibilidade de recursos e protocolos do Delta Lake.

Para uma lista de clientes que suportam vetores de eliminação, veja Compatibilidade com clientes.

No Databricks Runtime 14.1 e superior, você pode descartar o recurso de tabela de vetores de exclusão para habilitar a compatibilidade com outros clientes Delta. Consulte Remover uma funcionalidade da tabela Delta Lake e fazer downgrade do protocolo da tabela.

A I/O Preditiva aproveita vetores de exclusão para acelerar atualizações, reduzindo a frequência de reescritas completas de ficheiros durante a modificação de dados nas tabelas Delta Lake. A E/S preditiva otimiza as operações de DELETE, MERGE e UPDATE.

Em vez de reescrever todos os registos num ficheiro de dados quando qualquer registo é atualizado ou eliminado, a E/S preditiva utiliza vetores de eliminação para indicar que registos foram removidos dos ficheiros de dados de destino. Ficheiros de dados suplementares são usados para indicar atualizações.

As leituras subsequentes da tabela resolvem o estado atual da tabela aplicando as alterações notadas à versão mais recente da tabela.

Importante

As atualizações preditivas de E/S partilham todas as limitações com vetores de eliminação. No Databricks Runtime 12.2 LTS e superiores, aplicam-se estas limitações:

  • O OpenSharing não é suportado em tabelas com vetores de eliminação ativados.
  • Não pode gerar um ficheiro manifesto para uma tabela com vetores de eliminação presentes. Execute REORG TABLE ... APPLY (PURGE) e certifique-se de que não estão a ser executadas operações de escrita concorrentes para gerar um manifesto.
  • Não podes gerar ficheiros manifestos incrementais para uma tabela com vetores de eliminação ativados.
  • Última atualização a