Поделиться через

Запрашивание холодных данных с помощью горячих окон

  • Статья

С помощью горячих окон можно эффективно запрашивать холодные данные без необходимости их экспорта или использования других средств. Если холодные данные имеют большой объем, а для нужных данных нельзя указать временные рамки, можно воспользоваться горячими окнами. Горячие окна определяются в политике кэша.

Azure Data Explorer хранит свои данные в надежном долгосрочном хранилище и кэширует часть этих данных на узлах кластера. Политика кэширования определяет данные для кэширования. Кэшированные данные считаются горячими, а остальные — холодными.

Чтобы запросить холодные данные, Azure Data Explorer обрабатывает шаг загрузки, требующий доступа к уровню хранилища, с значительно большей задержкой, чем у локального диска. Если запрашиваются данные за небольшое временное окно (так называемые запросы на определенный момент времени), объем получаемых данных обычно бывает небольшим, и запрос выполняется быстро. Например, криминалистический анализ с запрашиванием телеметрии за определенный день в прошлом, попадает в эту категорию. Время задержки зависит от размера данных, извлекаемых из хранилища, и может быть значительным. При проверке большого объема холодных данных производительность запросов можно повысить за счет горячих окон.

В этом документе показано, как запрашивать холодные данные с помощью горячих окон.

Предварительные требования

Настройка автомасштабирования в кластере

После изменения политики кластер автоматически будет кэшировать нужные данные на своих дисках. Чтобы добавить диск для кэша нового размера, вам потребуется масштабировать кластер. Рекомендуется настроить кластер с помощью параметров оптимизированного автомасштабирования.

  1. На портале Azure перейдите к ресурсу кластера Azure Data Explorer. В разделе Параметры выберите Горизонтально увеличить масштаб.

  2. В окне Горизонтальное масштабирование выберите элемент Optimized autoscale (Оптимизированное автомасштабирование).

  3. Выберите минимальное число экземпляров и максимальное число экземпляров. Автоматическое масштабирование кластера выполняется в диапазоне между двумя этими значениями в зависимости от нагрузки.

  4. Выберите Сохранить.

    Метод оптимизированного автомасштабирования.

Теперь вы можете рассчитывать на оптимальную производительность при использовании горячих окон.

Настройка горячих окон

Для горячих окон используется такой же синтаксис команд, как для политики кэширования. Они настраиваются с помощью команды .alter policy caching.

Примечание

Может потребоваться до одного часа на то, чтобы кэш диска кластера изменился в соответствии с обновленной политикой.

  1. Запишите начальную политику кэширования с помощью команды .show policy caching.

    .show table MyDatabase.MyTable policy caching

  2. Измените политику кэширования, используя указанный ниже синтаксис. Для одной базы данных или таблицы можно задать несколько горячих окон.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Где:

    • from — начало периода горячего окна (datetime);
    • to — конец периода горячего окна (datetime).

    Например, по запросам, выполненным в соответствии с указанными ниже параметрами, будут проверяться хранимые в течение трех лет данные за последние 14 дней.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Выполнение запроса

Выполните запрос или запросы по периоду, указанному в горячих окнах.

Отмена параметров

  1. Используйте исходные параметры кэширования, полученные выше, в окне Set hot windows (Установка горячих окон).
  2. Верните для политики кэширования исходные параметры с помощью команды .alter policy caching.

Так как вы настроили для кластера оптимизированное автомасштабирование, кластер примет первоначальный размер.

См. также