Поделиться через

Политика емкости

  • Статья

Область применения: ✅Azure Data Explorer

Политика емкости используется для управления вычислительными ресурсами операций управления данными в кластере.

Объект политики емкости

Политика емкости состоит из следующих компонентов:

Чтобы просмотреть емкость кластера, используйте команду .show capacity .

Емкость приема

Свойство Type Описание
ClusterMaximumConcurrentOperations long Максимальное количество одновременных операций приема, разрешенных в кластере. Это значение касается общей емкости приема, как показано в следующей формуле.
CoreUtilizationCoefficient real Определяет процент ядер, используемых в вычислении емкости приема.

Формула

Команда .show capacity возвращает емкость приема кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations, Количество узлов в количестве ядер кластера * Maximum(1, на узел * CoreUtilizationCoefficient))

Примечание.

В кластерах с четырьмя или более узлами узел администратора не участвует в операциях приема, поэтому количество узлов в кластере уменьшается на один.

Емкость слияния экстентов

Свойство Type Описание
MinimumConcurrentOperationsPerNode long Минимальное количество параллельных операций слияния и перестроения на одном узле. По умолчанию — 1.
MaximumConcurrentOperationsPerNode long Максимальное количество одновременных операций слияния и перестроения на одном узле. По умолчанию — 5.

Формула

Команда .show capacity возвращает емкость слияния кластера на основе следующей формулы:

Число узлов в одновременных операциях кластера * на узел

Эффективное значение для параллельных операций на узел автоматически настраивается системой в диапазоне [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], если скорость успешного выполнения операций слияния составляет 90 % или выше.

Примечание.

В кластерах с четырьмя или более узлами узел администрирования не участвует в операциях слияния, поэтому количество узлов в кластере уменьшается на один.

Экстенты очистки емкости перестроения

Свойство Type Описание
MaximumConcurrentOperationsPerNode long Максимальное количество параллельных экстентов перестроения для операций очистки на одном узле.

Формула

Команда емкости .show возвращает экстенты восстановления емкости кластера на основе следующей формулы:

Количество узлов в кластере x MaximumConcurrentOperationsPerNode

Примечание.

В кластерах с четырьмя или более узлами узел администратора не участвует в операциях очистки, поэтому количество узлов в кластере уменьшается на один.

Экспорт емкости

Свойство Type Описание
ClusterMaximumConcurrentOperations long Максимальное количество параллельных операций экспорта в кластере. Это значение заголовок общего объема экспорта, как показано в следующей формуле.
CoreUtilizationCoefficient long Определяет процент ядер, используемых в расчете емкости экспорта.

Формула

Команда .show capacity возвращает емкость экспорта кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations, Количество узлов в количестве ядер кластера * Maximum(1, на узел * CoreUtilizationCoefficient))

Примечание.

В кластерах с четырьмя или более узлами узел администратора не участвует в операциях экспорта. Уменьшается Number of nodes in cluster на один.

Емкость секционирования экстентов

Свойство Type Описание
ClusterMinimumConcurrentOperations long Минимальное количество параллельных операций секционирования экстентов в кластере. По умолчанию — 1.
ClusterMaximumConcurrentOperations long Максимальное количество одновременных операций секционирования экстентов в кластере. По умолчанию — 32.

Эффективное значение для параллельных операций автоматически настраивается системой в диапазоне [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], если скорость успешного выполнения операций секционирования составляет 90 % или выше.

Политика емкости материализованных представлений

Политику можно использовать для изменения параметров параллелизма для материализованных представлений. Изменение политики емкости материализованных представлений может оказаться полезным при наличии более одного материализованного представления, определенного в кластере.

Свойство Type Описание
ClusterMinimumConcurrentOperations long Минимальное количество параллельных операций материализации в кластере. По умолчанию — 1.
ClusterMaximumConcurrentOperations long Максимальное количество параллельных операций материализации в кластере. По умолчанию — 10.

По умолчанию выполняется только одна материализация одновременно (см . способ работы материализованных представлений). Система настраивает текущее параллелизм в диапазоне [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], основываясь на количестве материализованных представлений в кластере и ЦП кластера. Вы можете увеличить или уменьшить параллелизм, изменив эту политику. Например, если в кластере есть десять материализованных представлений, установите ClusterMinimumConcurrentOperations значение 5 гарантирует, что по крайней мере пять из них могут материализоваться одновременно. Вы можете просмотреть эффективное значение текущего параллелизма с помощью команды .show capacity

Предупреждение

ClusterMinimumConcurrentOperations Повышение производительности кластера может привести к исчерпанию ресурсов и снижению производительности кластера. Тщательно отслеживайте работоспособность кластера и постепенно увеличивайте параллелизм, если изменить эту политику вручную.

Емкость результатов хранимого запроса

Свойство Type Описание
MaximumConcurrentOperationsPerDbAdmin long Максимальное количество одновременных операций приема в узле администратора кластера.
CoreUtilizationCoefficient real Определяет процент ядер, используемых в вычислении создания результатов хранимого запроса.

Формула

Команда .show capacity возвращает хранимую емкость результатов запроса кластера на основе следующей формулы:

Количество узлов в количестве ядер кластера * Maximum(1, на узел * CoreUtilizationCoefficient)

Примечание.

В кластерах с четырьмя или более узлами узел администрирования не участвует в операциях создания результатов хранимых запросов, поэтому количество узлов в кластере уменьшается на один.

Пропускная способность потоковой передачи после обработки

Свойство Type Описание
MaximumConcurrentOperationsPerNode long Максимальное количество одновременных операций приема потоковой передачи после обработки на каждом узле кластера.

Формула

Команда емкости .show возвращает объем потоковой передачи потоковой передачи кластера после обработки на основе следующей формулы:

Количество узлов в кластере x MaximumConcurrentOperationsPerNode

Примечание.

В кластерах с четырьмя или более узлами узел администрирования не участвует в потоковой передаче после обработки, поэтому количество узлов в кластере уменьшается на один.

Очистка емкости артефактов хранилища

Свойство Type Описание
MaximumConcurrentOperationsPerCluster long Максимальное количество параллельных операций очистки хранилища в кластере.

Формула

Команда .show capacity возвращает емкость очистки хранилища кластера на основе следующей формулы:

MaximumConcurrentOperationsPerCluster

Периодические артефакты хранения емкости очистки

Свойство Type Описание
MaximumConcurrentOperationsPerCluster long Максимальное количество параллельных периодических операций очистки артефактов хранилища в кластере.

Формула

Команда .show емкости возвращает периодические артефакты хранилища кластера для очистки емкости на основе следующей формулы:

MaximumConcurrentOperationsPerCluster

Defaults

Политика емкости по умолчанию имеет следующее представление JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Команды управления

Предупреждение

Перед изменением политики емкости обратитесь к группе поддержки.

Регулирование команд управления

Kusto ограничивает количество одновременных запросов для следующих команд, инициированных пользователем:

  • Прием
  • Удаляет
    • Глобальное ограничение в настоящее время устанавливается по одному на кластер.
    • Емкость перестроения очистки используется внутренне для определения количества одновременных операций перестроения во время команд очистки. Команды очистки не будут заблокированы или регулироваться из-за этого процесса, но будут выполняться быстрее или медленнее в зависимости от емкости перестроения очистки.
  • Экспорты
    • Ограничение определяется в емкости экспорта.

Когда кластер обнаруживает, что операция превысила ограничение на одновременные запросы:

  • Состояние команды, представленное командами системной информации, имеет значение Throttled.
  • Сообщение об ошибке включает тип команды, источник регулирования и превышение емкости . Например:
    • Например: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • Код ответа HTTP — это 429код. Вложенный код имеет значение TooManyRequests.
  • Тип исключения — ControlCommandThrottledException.

Примечание.

Команды управления также могут регулироваться в результате превышения ограничения, определенного политикой ограничения скорости запросов группы рабочей нагрузки.

Связанный контент