Аналитика кластеров Azure Data Explorer
Аналитика кластеров Azure Data Explorer обеспечивает комплексный мониторинг кластеров, предоставляя единое представление о производительности, операциях, использовании и сбоях кластера.
Он предлагает следующие возможности.
- Широкомасштабное представление. Моментальный снимок основных показателей кластеров помогает отслеживать производительность запросов, операций приема и экспорта.
- Глубокий анализ. Детализированный анализ определенного кластера Azure Data Explorer позволяет проводить подробный анализ.
- Настраиваемые параметры. Возможность выбора метрик, изменения или установки пороговых значений, соответствующих ограничениям, и сохранения собственной книги. Диаграммы из книги можно закрепить на панелях мониторинга Azure.
Эта статья поможет вам понять, как подключить и использовать Аналитику кластеров Azure Data Explorer.
Просмотр с помощью Azure Monitor (в широком масштабе)
В Azure Monitor можно просмотреть основные метрики производительности для кластера. Эти метрики включают сведения о запросах, приеме данных и операциях экспорта из нескольких кластеров в подписке. Они могут помочь в выявлении проблем с производительностью.
Чтобы просмотреть сведения по производительности кластеров по всем подпискам, выполните следующие действия.
Войдите на портал Azure.
В области слева выберите Монитор. В разделе Центр аналитики выберите Кластеры Azure Data Explorer.
Вкладка "Обзор подписки"
На вкладке Обзор для выбранной подписки в таблице отображаются интерактивные метрики для кластеров Azure Data Explorer, сгруппированных в рамках подписки. Результаты можно фильтровать по параметрам, выбранным в следующих раскрывающихся списках.
Подписки.Отображаются только подписки, в которых есть кластеры Azure Data Explorer.
Кластеры Azure Data Explorer. По умолчанию предварительно можно выбрать не более пяти кластеров. Если выбрать все или несколько кластеров в области селектора, будет возвращено до 200 кластеров.
Диапазон времени. По умолчанию в таблице отображаются данные за последние 24 часа с учетом выбранных параметров.
На плитке счетчика под раскрывающимся списком отображается общее количество кластеров Azure Data Explorer в выбранных подписках и число выбранных. Столбцы имеют условную цветовую кодировку: проверка активности, загрузка ЦП, прием данных и использование кэша. Оранжевые ячейки содержат значения, неприемлемые для кластера.
Чтобы лучше понять, что представляет каждая метрика, рекомендуем прочитать документацию по метрикам Azure Data Explorer.
Вкладка "Производительность запросов"
На вкладке Производительность запросов отображается продолжительность запроса, общее количество одновременных запросов и общее количество регулируемых запросов.
Вкладка "Производительность приема"
На вкладке Производительность приема отображается задержка приема, успешные результаты приема, результаты неудачного приема, объем данных приема и события, обработанные для центров событий и Интернета вещей.
Вкладка "Производительность потокового приема"
На вкладке Производительность потокового приема представлена информация о средней скорости передачи данных, средней продолжительности и частоте запросов.
Вкладка "Производительность экспорта"
На вкладке Производительность экспорта представлена информация об экспортированных записях, задержках, ожидающих подсчетах и процентах использования для непрерывных операций экспорта.
Просмотр с помощью ресурса кластера Azure Data Explorer (детализация анализа)
Чтобы получить доступ к Аналитике кластеров Azure Data Explorer непосредственно из кластера Azure Data Explorer, выполните приведенные далее действия.
На портале Azure выберите Кластеры Azure Data Explorer.
В списке выберите кластер Azure Data Explorer. В разделе "Мониторинг" выберите Аналитика.
Вы также можете получить доступ к этим представлениям, выбрав имя ресурса кластера Azure Data Explorer в представлении Аналитика Azure Monitor.
Примечание
Аналитика кластеров Azure Data Explorer объединяет журналы и метрики для предоставления глобального решения для мониторинга. Для включения визуализаций на основе журналов требуется, чтобы пользователи включили диагностические журналы своего кластера Azure Data Explorer и отправили их в рабочую область Log Analytics. Необходимо включить следующие журналы диагностики: Command, Query, SucceededIngestion, FailedIngestion, IngestionBatching, TableDetails и TableUsageStatistics. (Включение журналов SucceededIngestion может быть затратным. Включайте их только в том случае, если необходимо отслеживать успешные приемы данных.)
Вкладка "Обзор"
На вкладке Обзор отображается следующее.
Плитки метрик, отражающие доступность и общее состояние кластера для быстрой оценки работоспособности.
Сводка активных рекомендаций Помощник по Azure и состояния работоспособности ресурсов.
Диаграммы, на которых отображается наибольшее количество потребителей ресурсов ЦП и памяти, а также количество уникальных пользователей на протяжении времени.
Вкладка "Ключевые метрики"
На вкладке Ключевые метрики отображается единое представление метрик кластера. Метрики группируются в следующие группы: общие, связанные с запросами, связанные с приемом данных, и связанные потоковым приемом данных.
Вкладка "Использование"
Вкладка Использование позволяет пользователям подробно изучить работу команд и запросов кластера. На этой вкладке можно выполнить следующие действия:
- Просматривать, какие группы рабочей нагрузки, пользователи и приложения отправляют больше всего запросов или потребляют больше всего ресурсов ЦП и памяти. Затем можно понять, какие рабочие нагрузки отправляют запросы, которые кластеру необходимо обработать.
- Можно определить основные группы рабочей нагрузки, пользователей и приложения по выполнению запросов с ошибками.
- Можно определить недавние изменения количества запросов по сравнению со средним ежедневным значением (за последние 16 дней) по группам рабочей нагрузки, пользователям и приложениям.
- Можно выявить тенденции и пики количества запросов, использования ресурсов памяти и ЦП по группам рабочей нагрузки, пользователям, приложениям и типам команд.
Вкладка Использование содержит действия, выполняемые непосредственно пользователями. Операции с внутренним кластером не включаются в эту вкладку.
Вкладка "Таблицы"
На вкладке Таблицы показаны последние и архивные свойства таблиц в кластере. Можно увидеть, какие таблицы занимают больше всего пространства. Можно также отслеживать историю роста по размеру таблицы, горячим данным и количеству строк на протяжении времени.
Вкладка "Кэш"
Вкладка Кэш позволяет пользователям анализировать шаблоны окна ретроспективного обзора фактических запросов и сравнивать их с параметрами настроенной политики кэширования (для каждой таблицы). Можно определить таблицы, используемые для большинства запросов, и таблицы, запросы к которым не выполняются, и соответствующим образом адаптировать политику кэширования.
Можно получить рекомендации по использованию политик кэша для конкретных таблиц в Помощнике по Azure. В настоящее время рекомендации по кэшированию доступны только на основной панели мониторинга Помощника по Azure. Они основаны на окне ретроспективного обзора фактических запросов за последние 30 дней и в политике неоптимизированного кэша для по крайней мере 95% запросов.
Рекомендации по сокращению кэша в Помощнике по Azure доступны для кластеров, которые "ограничены данными". Это означает, что кластер имеет низкий уровень использования ЦП и низкую загрузку, но вследствие большого объема данных кластер не может масштабироваться.
Вкладка "Границы кластера"
На вкладке Границы кластера отображаются границы кластера в зависимости от использования. На этой вкладке можно проверить использование ресурсов ЦП, загрузку и использование кэша. Эти метрики оцениваются в зависимости от уровня: Низкий, Средний или Высокий. Эти метрики и оценки важны при выборе оптимального SKU и количества экземпляров для кластера. Они используются в рекомендациях по SKU и размеру Помощника по Azure.
На этой вкладке можно выбрать плитку метрики, изучить тенденции и понять, каким образом была получена соответствующая оценка. Также можно просмотреть рекомендации по SKU/размеру помощника Azure для кластера. Например, на следующем рисунке видно, что все метрики оцениваются как Низкие. Кластер получает рекомендацию по затратам, которая позволит уменьшить масштаб и сократить затраты.
Вкладка "Прием" (вкладка предварительного просмотра)
Вкладка "Прием " позволяет отслеживать состояние операций приема в очереди в кластер.
В процессе приема данных в очереди прием данных оптимизирован для высокой пропускной способности. Оптимизация реализуется путем группировки небольших блоков входящих данных в пакеты на основе настраиваемой политики пакетного приема.
На вкладке Прием приводятся подробные сведения о следующем:
- Результат приема в очереди по степени детализации базы данных или таблицы.
- Ошибки приема по таблице.
- Объем принимаемых данных.
- Задержка приема в очереди и место ее возникновения.
- Сам процесс пакетной обработки, включая сведения о мониторинге в отношении политики пакетного приема и того, как были запечатаны пакеты.
- Для приемов в Центре событий, Сетке событий и Центре Интернета вещей: количество событий, полученных в кластере, и количество событий, отправленных для фактического приема.
Закрепление на панели мониторинга Azure
Можно закрепить любой раздел метрики (в перспективе масштабирования) на панели мониторинга Azure, щелкнув значок канцелярской кнопки в правом верхнем углу раздела.
Настройка Аналитики кластеров Azure Data Explorer
Книгу можно изменить, чтобы настроить ее в соответствии с целями анализа данных.
- Определение области книги, позволяющее всегда выбирать определенную подписку или кластеры Azure Data Explorer.
- Изменение метрик в сетке.
- Изменение пороговых значений, отрисовка и кодирование цвета.
Чтобы начать настройку, нажмите кнопку Настроить на верхней панели инструментов.
Настройки сохраняются в пользовательской книге, чтобы конфигурация по умолчанию в опубликованной книге не перезаписывалась. Книги хранятся в группе ресурсов либо в закрытом разделе Мои отчеты, либо в разделе Общие отчеты, доступном всем пользователям с доступом к группе ресурсов. После сохранения пользовательской книги перейдите в коллекцию книг и откройте эту книгу.
Устранение неполадок
Общие рекомендации по устранению неполадок см. в статье Устранение неполадок с аналитикой на основе книг.
Следующие разделы помогут вам диагностировать и устранять некоторые распространенные проблемы, которые могут возникнуть при использовании Аналитики кластеров Azure Data Explorer.
Почему в средстве выбора подписки не отображаются все мои подписки?
отображаются только подписки, содержащие кластеры Azure Data Explorer, выбранные из выбранного фильтра подписки. Выберите фильтр подписки в разделе Каталог и подписка на портале Azure.
Почему я не вижу данные для моего кластера Azure Data Explorer в разделах "Использование", "Таблицы" или "Кэш"?
Для просмотра данных на основе журналов необходимо включить журналы диагностики для каждого кластера Azure Data Explorer, для которого требуется выполнять мониторинг. Это можно сделать в параметрах диагностики для каждого кластера. Нужно будет отправить свои данные в рабочую область Log Analytics. Необходимо включить следующие журналы диагностики: Command, Query, TableDetails и TableUsageStatistics.
Я уже включил журналы для кластера Azure Data Explorer. Почему я по-прежнему не вижу свои данные в разделе "Команды и запросы"?
В настоящее время журналы диагностики не работают задним числом. Данные начнут отображаться после выполнения действий в Azure Data Explorer. Это может занять некоторое время, от часов до суток, в зависимости от того, насколько активен ваш кластер Azure Data Explorer.
Примечание
На портале Azure необработанные данные метрик для страниц Метрик и Аналитика хранятся в Azure Monitor. Запросы на этих страницах позволяют получить необработанные данные метрик напрямую для предоставления наиболее точных результатов. При использовании функции "Параметры диагностики" можно перенести необработанные данные метрик в рабочую область Log Analytics. Во время переноса некоторая точность данных может быть потеряна из-за округления. Следовательно, результаты запроса могут немного отличаться от исходных данных. Вероятность ошибки составляет менее одного процента.