Управление горизонтальным масштабированием кластера в Azure Data Explorer в соответствии с меняющимися потребностями
Изменение размера кластера соответствующим образом очень важно для обеспечения производительности обозревателя данных Azure. Статический размер кластера может привести к недостаточной или чрезмерной нагрузке, и ни одна из этих ситуаций не является оптимальной. Поскольку точно предсказать потребность кластера в ресурсах невозможно, рекомендуется масштабировать кластер, добавляя и удаляя емкость и ресурсы ЦП в соответствии с меняющимися потребностями.
Существует два рабочих процесса масштабирования кластера Azure Data Explorer.
- Горизонтальное масштабирование, которое также называется горизонтальным увеличением и уменьшением масштаба.
- Вертикальное масштабирование, которое также называется вертикальным увеличением и уменьшением масштаба. В этой статье объясняется рабочий процесс горизонтального масштабирования.
Настройка горизонтального масштабирования
С помощью горизонтального масштабирования можно автоматически масштабировать число экземпляров на основе предопределенных правил и расписаний. Чтобы указать параметры автомасштабирования для кластера, выполните следующие действия.
На портале Azure перейдите к ресурсу кластера Azure Data Explorer. В разделе Параметры выберите Горизонтально увеличить масштаб.
В окне Горизонтально увеличить масштаб выберите требуемый метод автомасштабирования: Масштабирование вручную, Оптимизированное автомасштабирование или Настраиваемое автомасштабирование.
Ручное масштабирование
В параметре масштабирования вручную кластер имеет статическую емкость, которая не изменяется автоматически. Выберите статическую емкость с помощью панели счетчика экземпляров . Масштабирование кластера остается на выбранном параметре до изменения.
Оптимизированное автомасштабирование (рекомендуемый вариант)
Оптимизированное автомасштабирование — это параметр по умолчанию во время создания кластера и рекомендуемый метод масштабирования. Этот метод оптимизирует производительность кластера и затраты на него следующим образом:
- При недостаточной нагрузке масштаб кластера горизонтально уменьшается для снижения стоимости без ущерба для требуемой производительности.
- При чрезмерной нагрузке масштаб кластера горизонтально увеличивается для поддержания оптимальной производительности.
Чтобы настроить оптимизированное автомасштабирование, сделайте следующее:
Выберите Оптимизированное автомасштабирование.
Укажите минимальное и максимальное число экземпляров. Автоматическое масштабирование кластера выполняется в диапазоне между двумя этими значениями в зависимости от нагрузки.
Выберите Сохранить.
Оптимизированное автомасштабирование начинает работу. Соответствующие действия можно просмотреть в журнале действий кластера в Azure.
Логика оптимизированного автомасштабирования
Оптимизированное автомасштабирование управляется прогнозной или реактивной логикой. Прогнозная логика отслеживает закономерности использования кластера и, когда она с высокой степенью достоверности определяет сезонность, управляет масштабированием кластера. В противном случае используется реактивная логика, отслеживающая фактическое использование кластера, для принятия решений о масштабировании кластера на основе текущего уровня использования ресурсов.
Основные метрики для прогнозного и реактивного потоков:
- ЦП
- Коэффициент использование кэша
- Использование приема
Прогнозная и реактивная логика привязаны к границам размера кластера, минимальному и максимальному числу экземпляров, как определено в конфигурации оптимизированного автомасштабирования. Частые операции горизонтального увеличения и уменьшения масштаба кластера нежелательны, так как они влияют на ресурсы кластера и время, необходимое для добавления или удаления экземпляров, а также для перераспределения горячего кэша на всех узлах.
Прогнозное автомасштабирование
Прогнозная логика предсказывает использование кластера на следующий день в зависимости от характера его использования за последние несколько недель. С помощью этого прогноза создается расписание операций горизонтального уменьшения или увеличения масштаба, чтобы заранее настроить размер кластера. Это позволяет вовремя завершить масштабирование кластера и перераспределение данных к моменту изменения нагрузки. Эта логика особенно эффективна при сезонном использовании, например с ежедневными или еженедельными пиками.
Однако в ситуациях, когда происходит уникальный пик использования, превышающий прогнозируемое значение, оптимизированное автомасштабирование будет опираться на реактивную логику. В этом случае операции горизонтального уменьшения или увеличения масштаба выполняются ситуативно, исходя из последнего уровня использования ресурсов.
Реактивное автомасштабирование
Горизонтальное увеличение масштаба
Когда кластер приближается к состоянию чрезмерной нагрузки, для поддержания оптимальной производительности будет выполняться операция горизонтального увеличения масштаба. Операция горизонтального увеличения масштаба выполняется при наличии хотя бы одного из следующих условий:
- использование кэша остается высоким на протяжении более чем одного часа;
- использование ресурсов ЦП остается высоким на протяжении более чем одного часа;
- использование приема данных остается высоким на протяжении более чем одного часа.
Свертывание
При недостаточной нагрузке кластера выполняется операция горизонтального уменьшения масштаба для снижения затрат и поддержания оптимальной производительности. Для проверки возможности горизонтального уменьшения масштаба кластера используется несколько метрик.
Чтобы избежать перегрузки ресурсов, перед горизонтальным уменьшением масштаба необходимо проверить следующие метрики:
- использование кэша не является высоким;
- использование ресурсов ЦП ниже среднего;
- использование приема ниже среднего;
- при потоковом приеме данных его использование не является высоким;
- метрика проверки активности выше определенного минимума, обработана правильно и вовремя, что указывает на то, что кластер отвечает на запросы;
- регулирование запросов отсутствует;
- количество неудачных запросов ниже определенного минимума.
Примечание
Чтобы реализовать оптимизированное горизонтальное уменьшение масштаба, сначала необходимо выполнить оценку логики горизонтального уменьшения масштаба в течение одного дня. Такая оценка выполняется каждый час. Если требуется немедленное изменение, используйте масштабирование вручную.
Пользовательское автомасштабирование
Хотя оптимизированное автомасштабирование является рекомендуемой возможностью масштабирования, также поддерживается настраиваемое автомасштабирование Azure. С помощью пользовательского автомасштабирования можно динамически масштабировать кластер в зависимости от указанных метрик. Чтобы настроить пользовательское автомасштабирование, сделайте следующее.
В поле Имя параметра автомасштабирования укажите имя, например Scale-out: cache utilization (Горизонтальное масштабирование: использование кэша).
В разделе Режим масштабирования выберите Масштабировать на основе метрики. Этот режим обеспечивает динамическое масштабирование. Можно также выбрать Масштабировать до указанного числа экземпляров.
Выберите + Добавить правило.
В разделе Правило масштабирования справа укажите значения для каждого параметра.
Критерии
Параметр Описание и значение Агрегат времени Выберите условия агрегирования, например Среднее. Имя метрики Выберите метрику для операции масштабирования, например Cache Utilization. Статистика интервала времени Выберите одно из значений: Среднее, Минимум, Максимум и Сумма. Оператор Выберите нужный параметр, например Больше или равно. Пороговое значение. Выберите соответствующее значение. Например, для начала можно указать использование 80 % кэша. Продолжительность (в минутах) Выберите период времени, используемый системой при вычислении метрик. Начните со значения по умолчанию, равного 10 минутам. Действие
Параметр Описание и значение Операция Выберите соответствующий параметр для свертывания или горизонтального масштабирования. Число экземпляров Выберите количество узлов или экземпляров, которые требуется добавить или удалить при выполнении условий метрики. Охлаждение (в минутах) Выберите интервал времени ожидания между операциями масштабирования. Начните со значения по умолчанию, равного 5 минутам. Выберите Добавить.
В разделе Ограничения экземпляров слева укажите значения всех параметров.
Параметр Описание и значение Минимальные Число экземпляров в кластере, поддерживаемое вне зависимости от уровня использования. Максимум Число экземпляров в кластере, поддерживаемое в зависимости от уровня использования. По умолчанию Число экземпляров по умолчанию. Этот параметр используется при возникновении проблем с чтением метрик ресурсов. Выберите Сохранить.
Вы настроили операцию горизонтального масштабирования для кластера Azure Data Explorer. Добавьте еще одно правило для вертикального масштабирования. Если вам нужна помощь в устранении проблем с масштабированием кластера, отправьте запрос в службу поддержки на портале Azure.
См. также
- Мониторинг производительности, работоспособности и использования Azure Data Explorer с помощью метрик
- Управление вертикальным масштабированием кластера для соответствующего размера кластера.