Compartilhar via

Consultar dados de acesso esporádico com janelas de acesso frequente

  • Artigo

As janelas de acesso frequente permitem consultar dados de acesso esporádico com eficiência, sem exportá-los ou usar outras ferramentas. Use janelas de acesso frequente com um tamanho grande de dados de acesso esporádico, em que os dados relevantes estejam em qualquer momento no passado. As janelas de acesso frequente são definidas na política de cache.

O Azure Data Explorer armazena seus dados em armazenamento confiável de longo prazo e armazena em cache uma parte desses dados nos nós de cluster. A política de cache rege quais dados são armazenados em cache. Os dados armazenados em cache são considerados de acesso frequente, enquanto o restante dos dados é considerado de acesso esporádico.

Para consultar dados esporádicos, o Azure Data Explorer processa uma etapa de carregamento que requer o acesso a uma camada de armazenamento com latência muito maior do que o disco local. Quando a consulta é "pontual", ou seja, é limitada a uma pequena janela de tempo, a quantidade de dados a serem recuperados geralmente é pequena e a consulta é concluída rapidamente. Por exemplo, as análises forenses que consultam a telemetria em um determinado dia no passado se enquadram nesta categoria. O impacto na duração da consulta depende do tamanho dos dados extraídos do armazenamento e pode ser significativo. Para verificar uma grande quantidade de dados esporádicos, recomenda-se o uso das janelas de acesso frequente, que podem beneficiar o desempenho da consulta.

Este documento mostra como usar as janelas de acesso frequente para consultar dados esporádicos.

Pré-requisitos

Configurar o dimensionamento automático no cluster

Depois de alterar a política de cache, o cluster armazena automaticamente os dados relevantes em cache nos discos. Será preciso dimensionar o cluster de maneira a acomodar o espaço em disco extra que é necessário para a nova definição de cache. Recomenda-se configurar o cluster para usar as definições de otimização de dimensionamento automático.

  1. No portal do Azure, acesse o recurso de cluster do Azure Data Explorer. Em Configurações, selecione Escalar horizontalmente.

  2. Na janela Escalar horizontalmente, selecione Dimensionamento automático otimizado.

  3. Selecione uma contagem mínima e máxima de instâncias. O dimensionamento automático do cluster varia entre esses dois números, com base na carga.

  4. Selecione Salvar.

    Método de dimensionamento automático otimizado.

Agora, você deve ter um desempenho ideal durante o uso de janelas de acesso frequente.

Definir janelas de acesso frequente

As janelas de acesso frequente fazem parte da sintaxe de comandos da política de cache e são definidas com o comando .alter policy caching.

Observação

A atualização completa do cache de disco do cluster com base na definição da política de cache atualizada pode levar até uma hora.

  1. Anote a política de cache inicial usando o comando .show policy caching.

    .show table MyDatabase.MyTable policy caching

  2. Altere a política de cache usando a sintaxe a seguir. Várias janelas de acesso frequente podem ser definidas para um único banco de dados ou tabela.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Em que:

    • from: hora de início da janela de acesso frequente (datetime)
    • to: hora de encerramento da janela de acesso frequente (datetime)

    Por exemplo, as consultas executadas com as configurações a seguir examinarão os dados dos últimos 14 dias, que são mantidos por três anos.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Executar consulta

Execute as consultas desejadas no período de tempo especificado nas janelas de acesso frequente.

Reverter as configurações

  1. Use as configurações de cache originais que foram recuperadas acima em Definir janelas de acesso frequente.
  2. Reverta a política de cache para as configurações originais com o comando .alter policy caching.

O cluster será reduzido para o tamanho original, pois você configurou o dimensionamento automático otimizado para ele.

Conteúdo relacionado