Azure Synapse Analytics. Мониторинг портала управления рабочими нагрузками
В этой статье объясняется, как отслеживать группы рабочей нагрузки, а также использование ресурсов и действие запроса. Дополнительные сведения о настройке метрик Azure Обозреватель см. в статье обозревателя метрик Azure Monitor. Дополнительные сведения о мониторинге потребления системных ресурсов см. в разделе Использование ресурсов в документации по мониторингу Azure Synapse Analytics. Существует две различные категории метрик группы рабочей нагрузки, предоставляемые для мониторинга управления рабочей нагрузкой: выделение ресурсов и действия запросов. Эти метрики можно разделить и отфильтровать по группе рабочей нагрузки. Метрики можно разбивать и фильтровать в зависимости от того, определены ли они системой (группы рабочей нагрузки класса ресурсов) или определяемые пользователем (созданные пользователем с помощью синтаксиса создания группы рабочей нагрузки).
Определения метрик управления рабочей нагрузкой
| Имя метрики | Description | Тип агрегирования |
|---|---|---|
| Действующее ограничение процента ресурсов | Действующее ограничение процента ресурсов является жестким ограничением ресурсов (в процентах), доступных группе рабочей нагрузки, принимая во внимание Действующий минимальный процент ресурсов выделенных для других групп рабочей нагрузки. Метрика Действующее ограничение процента ресурсов настраивается с помощью параметра CAP_PERCENTAGE_RESOURCE в синтаксисе Создание группы рабочей нагрузки. Эффективное значение описывается здесь.Например, если группа рабочей нагрузки DataLoads создается со значением CAP_PERCENTAGE_RESOURCE = 100, а другая группа рабочей нагрузки создается с действующим минимальным процентом ресурсов в 25 %, то действующее ограничение процента ресурсов для группы рабочей нагрузки DataLoads составляет 75 %.Действующее ограничение процента ресурсов определяет верхнюю границу параллелизма (и тем самым возможную пропускную способность), которую может достичь группа рабочей нагрузки. Если требуется дополнительная пропускная способность, помимо того, что в настоящее время сообщается метрикой Действующее ограничение процента ресурсов, увеличьте значение CAP_PERCENTAGE_RESOURCE, уменьшите MIN_PERCENTAGE_RESOURCE других групп рабочей нагрузки или увеличьте масштаб экземпляра, чтобы добавить дополнительные ресурсы. Уменьшение значения REQUEST_MIN_RESOURCE_GRANT_PERCENT может увеличить параллелизм, но привести к повышению общей пропускной способности. |
Минимальное, Среднее, Максимальное |
| Действующий минимальный процент ресурсов | Действующий минимальный процент ресурсов — это минимальный процент ресурсов, зарезервированных и изолированных для группы рабочей нагрузки, учитывая минимальный уровень обслуживания. Метрика Действующий минимальный процент ресурсов настраивается с помощью параметра MIN_PERCENTAGE_RESOURCE в синтаксисе Создание группы рабочей нагрузки. Эффективное значение описывается здесь.Используйте тип статистической обработки "Sum", если эта метрика нефильтрованная и неразделенная, чтобы отслеживать общую изоляцию рабочей нагрузки, настроенную в системе. Действующий минимальный процент ресурсов определяет верхнюю границу параллелизма (и, так же, гарантированную пропускную способность), которую может достичь группа рабочей нагрузки. Если требуются дополнительные гарантированные ресурсы, помимо тех, которые в настоящее время передаются метрикой Действующий минимальный процент ресурсов, увеличьте параметр MIN_PERCENTAGE_RESOURCE, настроенный для группы рабочей нагрузки. Уменьшение значения REQUEST_MIN_RESOURCE_GRANT_PERCENT может увеличить параллелизм, но привести к повышению общей пропускной способности. |
Минимальное, Среднее, Максимальное |
| Активные запросы группы рабочей нагрузки | Эта метрика сообщает об активных запросах в группе рабочей нагрузки. При использовании этой метрики, все активные запросы, выполняющиеся в системе отображаются нефильтрованными и неразделенными. | Sum |
| Распределение группы рабочей нагрузки по проценту ограничения ресурсов | Эта метрика отображает процент выделения ресурсов относительно действующего ограничения процента ресурсов на группу рабочей нагрузки. Эта метрика обеспечивает эффективное использование группы рабочей нагрузки. Рассмотрим группу рабочей нагрузки DataLoads с действующим ограничением процента ресурсов в 75 % и значение REQUEST_MIN_RESOURCE_GRANT_PERCENT, настроенное на 25 %. Значение Распределение группы рабочей нагрузки по проценту ограничения ресурсов, отфильтрованное по DataLoads, будет равно 33 % (25 %/75 %), если в этой группе рабочей нагрузки выполнялся один запрос.Используйте эту метрику для обнаружения использования группы рабочей нагрузки. Значение, близкое к 100 %, означает, что используются все ресурсы, доступные для группы рабочей нагрузки. Кроме того, если метрика Запросы в очереди группы рабочей нагрузки в той же группе рабочей нагрузки предоставляет значение больше нуля, группа рабочей нагрузки будет использовать дополнительные ресурсы при выделении. И наоборот, если метрика постоянно минимальная, а значение активных запросов группы рабочей нагрузки низкое, группа рабочей нагрузки не используется. Эта ситуация особенно проблематична, если действующее ограничение процента ресурсов не превышает нуля,поскольку это указывает на недостаточную изоляцию рабочей нагрузки. |
Минимальное, Среднее, Максимальное |
| Распределение группы рабочей нагрузки по процентам системы | Эта метрика отображает процент выделения ресурсов относительно всей системы. Рассмотрим группу рабочей нагрузки DataLoads с REQUEST_MIN_RESOURCE_GRANT_PERCENT, настроенным на значение 25 %. Распределение группы рабочей нагрузки по значению "процент системы", отфильтрованного по DataLoads, будет иметь значение 25 % (25 %/100 %), если в этой группе рабочей нагрузки был запущен один запрос. |
Минимальное, Среднее, Максимальное |
| Время ожидания запросов группы рабочей нагрузки | Запросы для группы рабочей нагрузки, время ожидания которых истекло. Время ожидания запросов, сообщаемое этой метрикой, отсчитывается только после начала выполнения запроса (он не включает время ожидания в связи с блокировкой или ожиданиями ресурсов). Время ожидания запроса настраивается с помощью параметра QUERY_EXECUTION_TIMEOUT_SEC в синтаксисе Создание группы рабочей нагрузки. Увеличение значения может привести к уменьшению числа истечений времени ожидания запроса.Рассмотрите возможность увеличения параметра REQUEST_MIN_RESOURCE_GRANT_PERCENT для группы рабочей нагрузки, чтобы сократить время ожидания и выделить больше ресурсов для каждого запроса. Обратите внимание, что увеличение REQUEST_MIN_RESOURCE_GRANT_PERCENT сокращает объем параллелизма для группы рабочей нагрузки. |
Sum |
| Запросы в очереди группы рабочей нагрузки | Запросы для группы рабочей нагрузки, которые в данный момент ожидают запуска. Запросы могут быть поставлены в очередь, так как они ожидают ресурса или блокировки. Запросы могут находиться в ожидании по многим причинам. Если система перегружена и требование параллелизма больше, чем доступно, запросы будут помещаться в очередь. Рассмотрите возможность добавления ресурсов в группу рабочей нагрузки путем увеличения параметра CAP_PERCENTAGE_RESOURCE в инструкции Создание группы рабочей нагрузки. Если CAP_PERCENTAGE_RESOURCE больше, чем действующее ограничение процента ресурсов, то сконфигурированная изоляция рабочей нагрузки для другой группы рабочих нагрузок влияет на ресурсы, выделенные для этой группы рабочих нагрузок. Рассмотрите возможность снижения MIN_PERCENTAGE_RESOURCE для других групп рабочей нагрузки или увеличения масштаба экземпляра для добавления дополнительных ресурсов. |
Sum |
Сценарии и действия мониторинга
Ниже приведен ряд конфигураций диаграмм для выделения сведений об использовании метрик управления рабочей нагрузкой для устранения неполадок, а также связанные действия для решения этой проблемы.
Недостаточная нагрузка изоляции рабочей нагрузки
Рассмотрим следующую группу рабочей нагрузки и конфигурацию классификатора, где создается группа рабочей нагрузки с именем wgPriority, которая сопоставляется с TheCEOmembername с помощью классификатора рабочей нагрузки wcCEOPriority. Для группы рабочей нагрузки wgPriority настраивается уровень изоляции в 25 % (MIN_PERCENTAGE_RESOURCE = 25). Каждому запросу, отправленному группой TheCEO, присваивается 5 % системных ресурсов (REQUEST_MIN_RESOURCE_GRANT_PERCENT = 5).
CREATE WORKLOAD GROUP wgPriority
WITH ( MIN_PERCENTAGE_RESOURCE = 25
,CAP_PERCENTAGE_RESOURCE = 50
,REQUEST_MIN_RESOURCE_GRANT_PERCENT = 5);
CREATE WORKLOAD CLASSIFIER wcCEOPriority
WITH ( WORKLOAD_GROUP = 'wgPriority'
,MEMBERNAME = 'TheCEO');
Приведенная ниже диаграмма настроена следующим образом.
Метрика 1: эффективный минимальный процент ресурсов (среднее агрегирование, blue line)
Метрика 2. Выделение группы рабочей нагрузки по системным процентам (среднее агрегирование, purple line)
Фильтр: [Workload Group] = wgPriority
На диаграмме показано, что при изоляции рабочей нагрузки 25 % используется только 10 % в среднем. В этом случае значение параметра MIN_PERCENTAGE_RESOURCE можно уменьшить в диапазоне от 10 до 15 и разрешить другим рабочим нагрузкам в системе использовать ресурсы.
Узкое место в группе рабочей нагрузки
Рассмотрим следующую группу рабочей нагрузки и конфигурацию классификатора, где создается группа рабочей нагрузки с именем wgDataAnalyst, которая сопоставляется с DataAnalystmembername с помощью классификатора рабочей нагрузки wcDataAnalyst. Для группы рабочей нагрузки wgDataAnalyst настраивается уровень изоляции 6 % (MIN_PERCENTAGE_RESOURCE = 6) и ограничение ресурса в 9 % (CAP_PERCENTAGE_RESOURCE = 9). Каждому запросу, отправленному группой DataAnalyst, присваивается 3 % системных ресурсов (REQUEST_MIN_RESOURCE_GRANT_PERCENT = 3).
CREATE WORKLOAD GROUP wgDataAnalyst
WITH ( MIN_PERCENTAGE_RESOURCE = 6
,CAP_PERCENTAGE_RESOURCE = 9
,REQUEST_MIN_RESOURCE_GRANT_PERCENT = 3);
CREATE WORKLOAD CLASSIFIER wcDataAnalyst
WITH ( WORKLOAD_GROUP = 'wgDataAnalyst'
,MEMBERNAME = 'DataAnalyst');
Приведенная ниже диаграмма настроена следующим образом.
Метрика 1. Процент эффективного ограничения ресурсов (среднее агрегирование, blue line)
Метрика 2. Распределение группы рабочей нагрузки по проценту ограничения ресурсов(агрегирование среднего значения, purple line)
Метрика 3. Запросы группы рабочих нагрузок в очереди (агрегирование сумм,turquoise line)
Фильтр: [Workload Group] = wgDataAnalyst
На диаграмме показано, что с ограничением на 9 % ресурсов группа рабочей нагрузки используется 90%+ (из выделения группы рабочей нагрузки по метрике процента ресурсов). Как видно из метрики Запросы в очереди группы рабочей нагрузки, существует устойчивая очередь запросов. В этом случае увеличение CAP_PERCENTAGE_RESOURCE до значения, превышающего 9 %, позволит одновременно выполнять больше запросов. Увеличение CAP_PERCENTAGE_RESOURCE предполагает наличие достаточного количества доступных ресурсов, которые не изолируются другими группами рабочей нагрузки. Убедитесь, что ограничение увеличено, проверив метрику Действующее ограничение процента ресурсов. Если требуется дополнительная пропускная способность, рассмотрите возможность увеличения REQUEST_MIN_RESOURCE_GRANT_PERCENT до значения, превышающего 3. Увеличение REQUEST_MIN_RESOURCE_GRANT_PERCENT может способствовать более быстрому выполнению запросов.