Справочник по данным мониторинга Azure Stream Analytics
В этой статье содержатся все справочные сведения о мониторинге для этой службы.
Дополнительные сведения о данных, собираемых для Azure Stream Analytics, и их использовании см. в статье "Мониторинг Azure Stream Analytics ".
Метрики
В этом разделе перечислены все автоматически собранные метрики платформы для этой службы. Эти метрики также являются частью глобального списка всех метрик платформы, поддерживаемых в Azure Monitor.
Сведения о хранении метрик см. в обзоре метрик Azure Monitor.
Azure Stream Analytics предоставляет множество метрик, которые можно использовать для мониторинга и устранения неполадок c производительностью запросов и заданий. Данные из этих метрик можно просмотреть на странице Обзор портала Azure в разделе Мониторинг.
Если вы хотите проверить определенную метрику, выберите Метрики в разделе Мониторинг. На открывшейся странице выберите нужную метрику.
Поддерживаемые метрики для Microsoft.StreamAnalytics/streamingjobs
В следующей таблице перечислены метрики, доступные для типа ресурса Microsoft.StreamAnalytics/streamingjobs.
- Все столбцы могут не присутствовать в каждой таблице.
- Некоторые столбцы могут находиться за пределами области просмотра страницы. Выберите "Развернуть таблицу ", чтобы просмотреть все доступные столбцы.
Заголовки таблиц
- Категория — группа метрик или классификация.
- Метрика — отображаемое имя метрик, как оно отображается в портал Azure.
- Имя в REST API — имя метрики, указанное в REST API.
- Единица измерения.
- Агрегирование — тип агрегирования по умолчанию. Допустимые значения: среднее (среднее), минимальное (минимальное), максимальное (максимальное), общее (сумма), число.
- Измерения - , доступные для метрики.
- Интервалы интервалов - времени, по которым выборка метрики выполняется. Например, указывает,
PT1Mчто метрика выборка выполняется каждую минуту, каждые 30 минут,PT30MPT1Hкаждый час и т. д. - Экспорт DS— можно ли экспортировать метрики в журналы Azure Monitor с помощью параметров диагностики. Сведения об экспорте метрик см. в статье "Создание параметров диагностики" в Azure Monitor.
| Категория | Метрика | Имя в REST API | Единица измерения | Агрегат | Измерения | Интервалы времени | Экспорт DS |
|---|---|---|---|---|---|---|---|
| Неудачные запросы функций Неудачные запросы функций |
AMLCalloutFailedRequests |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| События функции События функций |
AMLCalloutInputEvents |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Запросы функций Запросы функций |
AMLCalloutRequests |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Ошибки преобразования данных Ошибки преобразования данных |
ConversionErrors |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Ошибки десериализации входных данных Ошибки десериализации входа |
DeserializationError |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| События вне порядка События, поступающие не по порядку |
DroppedOrAdjustedEvents |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Early Input Events (Ранние входные события) Ранние входные события |
EarlyInputEvents |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Ошибки среды выполнения Ошибки среды выполнения |
Errors |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Входные байты событий Байты входного события |
InputEventBytes |
Байт | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Входные события Входные события |
InputEvents |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Невыполненные входные события Необработанные входные события |
InputEventsSourcesBacklogged |
Count | Среднее, максимальное, минимальное | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Полученные источники входных данных Полученные входные источники |
InputEventsSourcesPerSecond |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Поздние входные события Поздние входные события |
LateInputEvents |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Выходные события Выходные события |
OutputEvents |
Count | Total (Sum) | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Watermark Delay (Предельная задержка) Watermark Delay (Предельная задержка) |
OutputWatermarkDelaySeconds |
сек. | Среднее, максимальное, минимальное | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| Загрузка ЦП (в %) Загрузка ЦП (в %) |
ProcessCPUUsagePercentage |
Процент | Среднее, максимальное, минимальное | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да | |
| SU (память) % использования Процент использования единиц хранения (памяти) |
ResourceUtilization |
Процент | Среднее, максимальное, минимальное | LogicalName, , PartitionIdProcessorInstanceNodeName |
PT1M | Да |
Описания метрик
Azure Stream Analytics предоставляет следующие метрики для мониторинга работоспособности задания.
| Метрика | Определение |
|---|---|
| Невыполненные входные события | Количество необработанных входных событий. Ненулевое значение для этой метрики подразумевает, что задание не может справиться с числом входящих событий. Если это значение медленно увеличивается или постоянно равно ненулевому значению, нужно горизонтально увеличить масштаб вашего задания. Дополнительные сведения см. в разделе Обзор и настройка единиц потоковой передачи. |
| Ошибки преобразования данных | Количество выходных событий, которые не удалось преобразовать в ожидаемую схему выходных данных. Чтобы удалить события, возникающие в этом сценарии, измените политику ошибок, выбрав действие Отбрасывать. |
| Процент загрузки ЦП (предварительная версия) | Процент ресурсов ЦП, используемых заданием. Даже если это значение очень велико (90 % и более), не увеличивайте число единиц потоковой передачи на основании только этой метрики. Если число отложенных входящих событий или предельная задержка увеличиваются, вы можете использовать эту метрику, чтобы определить, не перегружен ли ЦП. Эта метрика может иметь нерегулярные пики. Мы рекомендуем выполнить тесты масштабирования и найти верхнюю границу, после которой поступающие задания перестанут выполняться или будут испытывать значительные задержки из-за превышения нагрузки на ЦП. |
| Early Input Events (Ранние входные события) | События, у которых метка времени приложения предшествует времени прибытия больше, чем на 5 минут. |
| Неудачные запросы функций | Количество неудачных вызовов функции машинного обучения Azure (при наличии). |
| События функции | Количество событий, отправленных в функцию машинного обучения Azure (при наличии). |
| Запросы функций | Количество вызовов функции машинного обучения Azure (при наличии). |
| Ошибки десериализации входных данных | Количество входных событий, которые не удалось десериализировать. |
| Входные байты событий | Объем данных, получаемых заданием Stream Analytics (в байтах). Эта метрика позволяет проверить, отправляются ли события в источник входных данных. |
| Входные события | Число записей, десериализованных из входных событий. Это число не включает входящие события, которые приводят к ошибкам десериализации. Stream Analytics умеет принимать одно задание несколько раз, например в сценариях с внутренними восстановлениями и рекурсивными объединениями. Не стоит ожидать, что метрики событий ввода и событий вывода будут совпадать, даже если задание выполняет простой запрос со сквозной передачей. |
| Полученные источники входных данных | Количество сообщений, полученных заданием. Для Центров событий Azure каждой сообщение содержит один элемент EventData. Для Хранилища BLOB-объектов событие содержит один BLOB-объект. Обратите внимание, что источники входных данных подсчитываются до десериализации. Если возникнут ошибки десериализации, число источников входных данных может превысить число событий ввода. В противном случае число источников входных данных должно быть равно числу событий ввода или меньше его, так как сообщение может содержать несколько событий. |
| Поздние входные события | События, полученные позже настроенного значения допустимого интервала поступления с задержкой. Дополнительные сведения о порядке событий в Azure Stream Analytics. |
| События, поступающие не по порядку | Количество событий, полученных в неактуальное время, которые были удалены или получили откорректированную метку времени в соответствии с политикой упорядочения событий. Эта метрика может зависеть от настройки параметра Интервал для событий, полученных в неправильном порядке. |
| Выходные события | Объем данных, отправляемых заданием Stream Analytics в место назначения для выходных данных (количество событий). |
| Ошибки среды выполнения | Общее число ошибок, связанных с обработкой запроса. Сюда не входят ошибки, обнаруженные при приеме событий и при выводе результатов. |
| SU (память) % использования | Процент ресурсов памяти, используемых заданием. Если значение этой метрики часто превышает 80 %, будут увеличиваться предельная задержка и число необработанных событий. В таком случае рекомендуется увеличить число единиц потоковой передачи. Высокий процент использования означает, что задача использует объем ресурсов, близкий к максимально допустимому. |
| Watermark Delay (Предельная задержка) | Предельная задержка для всех разделов выходных данных в задании. |
Измерения метрик
Дополнительные сведения о измерениях метрик см. в разделе "Многомерные метрики".
Эта служба имеет следующие измерения, связанные с ее метриками.
| Измерение | Определение |
|---|---|
| Логическое имя | Имя канала ввода или канала вывода для задания Stream Analytics. |
| Идентификатор секции | Идентификатор секции входных данных из источника входных данных. Например, если входной источник является концентратором событий, идентификатор секции — это идентификатор секции концентратора событий. Для чрезвычайно параллельных заданий Идентификатор секции в выходных данных совпадает со входным значением. |
| Имя узла | Идентификатор узла потоковой передачи, подготовленного при выполнении задания. Узел потоковой передачи представляет объем вычислительных ресурсов и ресурсов памяти, выделенных для задания. |
Измерение "Логическое имя"
Логическое имя — имя входных или выходных данных для задания Stream Analytics. Например, предположим, что задание Stream Analytics содержит четыре набора входных и пять наборов выходных данных. Вы увидите четыре отдельных набора логических входных данных и пять отдельных наборов логических выходных данных при разделении метрик, связанных с входными и выходными данными, на основе данного измерения.
Измерение Логическое имя доступно для фильтрации и разделения следующих метрик:
- Невыполненные входные события
- Ошибки преобразования данных
- Early Input Events (Ранние входные события)
- Ошибки десериализации входных данных
- Входные байты событий
- Входные события
- Полученный источник входных данных
- Поздние входные события
- События, поступающие не по порядку
- Выходные события
- Watermark Delay (Предельная задержка)
Измерение "Имя узла"
Узел потоковой передачи представляет собой набор вычислительных ресурсов, используемых для обработки входных данных. Каждые шесть единиц потоковой передачи (SUS) преобразуются в один узел, который служба автоматически управляет от вашего имени. Дополнительные сведения о связи между единицей потоковой передачи и узлом потоковой передачи см. в статье Обзор и настройка единиц потоковой передачи.
Имя узла — это измерение на уровне узла потоковой передачи. Оно может помочь вам детализировать определенные метрики до уровня конкретного узла потоковой передачи. Например, метрики процентного использования ЦП можно разделить по уровню узла потоковой передачи, чтобы проверить использование ЦП для отдельного узла потоковой передачи.
Измерение Имя узла доступно для фильтрации и разделения следующих метрик:
- Невыполненные входные события
- Процент загрузки ЦП (предварительная версия)
- Входные события
- Выходные события
- SU (память) % использования
- Watermark Delay (Предельная задержка)
Измерение "Идентификатор секции"
При приеме потоковых данных в службе Azure Stream Analytics для обработки входные данные распределяются по узлам потоковой передачи в соответствии с секциями в источнике входных данных. Измерение Идентификатор секции — это идентификатор секции входных данных из источника входных данных.
Например, если входной источник является концентратором событий, идентификатор секции — это идентификатор секции концентратора событий. Идентификатор секции во входных данных совпадает с идентификатором выходных данных.
Измерение Идентификатор секции доступно для фильтрации и разделения следующих метрик:
- Невыполненные входные события
- Ошибки преобразования данных
- Early Input Events (Ранние входные события)
- Ошибки десериализации входных данных
- Входные байты событий
- Входные события
- Полученный источник входных данных
- Поздние входные события
- Выходные события
- Watermark Delay (Предельная задержка)
Журналы ресурсов
В этом разделе перечислены типы журналов ресурсов, которые можно собирать для этой службы. Раздел извлекает из списка всех типов категорий журналов ресурсов, поддерживаемых в Azure Monitor.
Поддерживаемые журналы ресурсов для Microsoft.StreamAnalytics/streamingjobs
| Категория | Отображаемое имя категории | Таблица журналов | Поддерживает базовый план журнала | Поддерживает преобразование времени приема | Примеры запросов | Затраты на экспорт |
|---|---|---|---|---|---|---|
Authoring |
Разработка | AzureDiagnostics Журналы из нескольких ресурсов Azure. |
No | No | Запросы | No |
Execution |
Выполнение | AzureDiagnostics Журналы из нескольких ресурсов Azure. |
No | No | Запросы | No |
Схема журналов ресурсов
Все журналы хранятся в формате JSON. Каждая запись содержит следующие общие строковые поля.
| Имя | Описание |
|---|---|
| Время | Метка времени журнала (в формате UTC). |
| resourceId | Идентификатор ресурса (прописными буквами), с которым была выполнена операция. Содержит идентификатор подписки, группу ресурсов и имя задания. Например, /SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeee4e4e4e4e/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT. STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| Категория | Категория журнала, Выполнение или Разработка. |
| operationName | Имя операции, добавленной в журнал. Например, Send Events: SQL Output write failure to mysqloutput (События отправки: ошибка записи выходных данных SQL в mysqloutput). |
| статус | Состояние операции. Например, Сбой или Успешно выполнено. |
| level | Уровень ведения журнала. Например, Ошибка, Предупреждение или Информация. |
| свойства | Сведения о записи журнала, сериализованные в строку JSON. Дополнительные сведения приведены в следующем разделе этой статьи. |
Схема свойств журнала выполнения
Журналы выполнения содержат сведения о событиях, произошедших при выполнении задания Stream Analytics. Схема свойств зависит от того, является ли событие ошибкой данных или универсальным событием.
Ошибки данных
Любая ошибка, возникающая при обработке данных в задании, находится в этой категории журналов. Чаще всего эти журналы создаются во время операций чтения, сериализации и записи. Эти журналы не включают ошибки подключения. которые обрабатываются как универсальные события. Вы можете узнать больше о причинах различных ошибок ввода и вывода данных.
| Имя | Описание |
|---|---|
| Исходный код | Имя входных или выходных данных задания, в которых произошла ошибка. |
| Сообщение | Сообщение, связанное с ошибкой. |
| Тип | Тип ошибки. Например DataConversionError, CsvParserError или ServiceBusPropertyColumnMissingError. |
| Data | Содержит данные, полезные для точного поиска источника ошибки. Значение может быть усечено в зависимости от размера. |
В зависимости от значения operationName ошибки данных имеют следующую схему:
Сериализация событий: эти ошибки возникают во время операций чтения события. Они возникают, когда данные во входных данных не удовлетворяют схеме запроса по одной из следующих причин:
Несоответствие типов во время сериализации или десериализации событий: определяет поле, вызывающее ошибку.
Не удается прочитать событие, недопустимую сериализацию: выводит сведения о расположении в входных данных, в которых произошла ошибка. (имя входного большого двоичного объекта, смещение и примеры данных).
Отправка событий: эти ошибки возникают при выполнении операций записи. Они определяют событие потоковой передачи, вызвавшее ошибку.
Универсальные события
Остальные типы ошибок считаются универсальными событиями.
| Имя | Описание |
|---|---|
| Ошибка | (Необязательно.) Сведения об ошибке. Как правило, это сведения об исключении, если они доступны. |
| Сообщение | Сообщение журнала. |
| Тип | Тип сообщения. Сопоставляется с внутренней классификацией ошибок. Например JobValidationError или BlobOutputAdapterInitializationFailure. |
| Идентификатор корреляции | Идентификатор GUID, однозначно определяющий выполнение задания. Все записи журнала, зафиксированные с начала до завершения задания, имеют одинаковое значение идентификатора корреляции. |
Дополнительные сведения см. в списке всех типов категорий журналов ресурсов, поддерживаемых в Azure Monitor или всех типах категорий журналов ресурсов, собранных для Azure Stream Analytics.
Таблицы журналов Azure Monitor
В этом разделе перечислены таблицы журналов Azure Monitor, относящиеся к этой службе, которые доступны для запроса Log Analytics с помощью запросов Kusto. Таблицы содержат данные журнала ресурсов и, возможно, больше в зависимости от собираемых и перенаправленных к ним данных.
Задания Stream Analytics
| Категория | Отображаемое имя категории | Таблица журналов | Поддерживает базовый план журнала | Поддерживает преобразование времени приема | Примеры запросов | Затраты на экспорт |
|---|---|---|---|---|---|---|
Authoring |
Разработка | AzureDiagnostics Журналы из нескольких ресурсов Azure. |
No | No | Запросы | No |
Execution |
Выполнение | AzureDiagnostics Журналы из нескольких ресурсов Azure. |
No | No | Запросы | No |
Журнал действий
В связанной таблице перечислены операции, которые можно записать в журнале действий для этой службы. Эти операции представляют собой подмножество всех возможных операций поставщика ресурсов в журнале действий.
Дополнительные сведения о схеме записей журнала действий см . в схеме журнала действий.