Схема заданий Stream Analytics (предварительная версия) в портал Azure

Схема заданий в портал Azure поможет визуализировать шаги запроса задания (логическая концепция) или узел потоковой передачи (физическая концепция) с его источником ввода, назначением выходных данных и метриками. Схему заданий можно использовать для проверки метрик для каждого шага или узла потоковой передачи и быстро определить источник проблемы при устранении неполадок.

Существует два типа схем заданий:

• Физическая схема: визуализирует ключевые метрики задания Stream Analytics с помощью концепции физического вычисления: измерение потокового узла. Узел потоковой передачи представляет набор вычислительных ресурсов, используемых для обработки входных данных задания. Дополнительные сведения о измерении узла потоковой передачи см. в разделе "Измерение имени узла Azure Stream Analytics".

  В каждом узле потоковой передачи доступны процессоры Stream Analytics для обработки потоковых данных. Каждый процессор представляет один или несколько шагов в запросе. Вы можете визуализировать топологию процессора в каждом узле потоковой передачи с помощью схемы процессора на схеме физических заданий.

• Логическая схема: визуализирует ключевые метрики задания Stream Analytics с помощью логической концепции: шаг запроса на основе запросов задания. Дополнительные сведения см. в статье Отладка с помощью схемы логических заданий (предварительная версия) в портал Azure.

В этой статье описаны два типа схем заданий, которые помогут вам.

Внимание

Эта функция сейчас доступна в режиме предварительной версии. Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.

Использование схемы заданий

В портал Azure найдите и выберите задание Stream Analytics. Затем выберите схему заданий (предварительная версия) в разделе Средства разработчика:

В левом верхнем углу можно переключить два типа схемы заданий, щелкнув "Логический", "Физический".

Схема физического задания

На следующем снимка экрана показана схема физического задания с периодом времени по умолчанию (последние 30 минут).

1. Раздел панели команд: это область команд, в которой можно настроить диапазон времени метрик задания, переключить или настроить визуализацию тепловой карты, выполнить поиск узла потоковой передачи и переключить представление между диаграммой и таблицей.

   • Параметры тепловой карты: параметр тепловой карты позволяет сортировать узлы на схеме на основе нужных метрик и типа сортировки. Метрики могут быть загрузкой ЦП или памяти, задержкой подложки, событием ввода и событиями ввода с невыполненной работой.

   • Диапазон времени: можно выбрать другой диапазон времени и выполнить задание, чтобы просмотреть схему и метрики.

   • Запуск задания: выполнение задания находится в диапазоне времени. При запуске задания перезапускается или масштабируется (изменения SU), создается новое задание. Одно задание выполняет карты на схеме физических заданий.

   • Переключатель представления диаграммы и таблицы: можно переключать представление между схемой и таблицей. Представление таблицы отображается следующим образом:

     

2. Раздел диаграммы или таблицы: это место, где можно просматривать метрики (агрегированные в выбранном диапазоне времени) на уровне узла потоковой передачи с представлением схемы или представлением таблицы. Каждое поле в этом разделе представляет собой узел потоковой передачи, используемый для обработки входных данных. Метрики на каждом узле:

   • Входные события (тип агрегирования: SUM)
   • Загрузка ЦП % (тип агрегирования: среднее значение)
   • SU (память) % использования (тип агрегирования: max)
   • Идентификаторы секций (список без агрегирования)
   • Задержка водяного знака (тип агрегирования: max)
   • Невыполненные входные события (тип агрегирования: SUM)

   Дополнительные сведения об определении метрик см. в измерении имени узла Azure Stream Analytics.

3. Раздел диаграммы: это место, где можно просмотреть данные исторических метрик в выбранном диапазоне времени. Метрики по умолчанию, показанные на диаграмме по умолчанию, — su (память) % использование и загрузка ЦП %. Вы также можете добавить дополнительные диаграммы, нажав кнопку "Добавить диаграмму".

Раздел "Схема", "Таблица" и "Диаграмма" может быть интерактивным друг с другом. Чтобы получить метрики в разделе диаграммы и таблицы , можно выбрать несколько узлов, чтобы получить метрики в разделе диаграммы, отфильтрованном выбранными узлами и наоборот.

Дополнительные сведения об отладке с помощью физической диаграммы см. в статье "Отладка с помощью схемы физических заданий (предварительная версия) в портал Azure.

Схема процессора на схеме физических заданий

Схема процессора на схеме физических заданий визуализирует топологию процессора внутри определенного узла потоковой передачи. Чтобы получить доступ к схеме процессора, необходимо открыть схему физического задания, найти узел потоковой передачи, который требуется проверить схему процессора, а затем открыть схему процессора, щелкнув имя узла потоковой передачи.

1. Раздел панели сведений: это место, где можно просмотреть основные сведения для этой схемы процессора, например диапазон времени, соответствующее имя узла потоковой передачи.
2. Раздел схемы: это место, где визуализирована схема процессора. Каждое поле узла в этом разделе представляет обработчик, обрабатывающий потоковые данные для определенной цели.

   • Тип процессора: он показывает тип процессора, означает определенную цель обработки данных. Он доступен в каждом узле процессора.

     Тип процессора	Description
     Входные или выходные данные	Этот процессор используется для чтения входных или выходных потоков данных.
     ReferenceData	Этот процессор используется для получения эталонных данных.
     Вычисление	Этот процессор используется для обработки потоковых данных в соответствии с логикой запроса, например агрегирование, фильтрация, группирование с окном и т. д. Дополнительные сведения о функциях запросов потоковых вычислений данных см. в справочнике по языку запросов Azure Stream Analytics.
     МаршаллерUpstream и МаршаллерDownstream	При взаимодействии потоковых данных между узлами потоковой передачи будет два процессора маршализатора: 1). МаршаллерUpstream для отправки данных в вышестоящем узле потоковой передачи и 2). МаршаллерDownstream для получения данных в нижнем узле потоковой передачи.
     Слияние	Этот процессор предназначен для получения данных потока пересечения секций, которые были выведены из нескольких вышестоящих узлов потоковой передачи. Рекомендуется оптимизировать производительность заданий, чтобы обновить запрос, чтобы удалить обработчик слияния, чтобы сделать задание параллельным, так как процессор слияния является узким местом задания. Функция симулятора схемы заданий в расширении ASA Visual Studio Code может помочь симитировать запрос локально при оптимизации запроса задания. Дополнительные сведения см. в статье "Оптимизация запроса с помощью симулятора схемы заданий (предварительная версия)".

     

   • Тип адаптера: он показывает тип входного или выходного адаптера. Stream Analytics поддерживает различные источники ввода и назначения выходных данных. Каждый входной источник или назначение вывода имеет выделенный тип адаптера. Он доступен только в входном процессоре и выходном процессоре. Например, InputBlob представляет входные данные ADLS 2-го поколения, из которых обработчик входных данных получает данные; OutputDocumentDb представляет выходные данные Cosmos DB, в которых выходной процессор выводит данные в.

     Дополнительные сведения о входных и выходных типах см . в обзоре входных данных Azure Stream Analytics и выходных данных Azure Stream Analytics.

   • Идентификаторы секций: показывает, какие идентификаторы секций обрабатываются этим обработчиком. Он доступен только в входном процессоре и выходном процессоре.

   • Тип сериализатора: он показывает тип сериализации. Stream Analytics поддерживает несколько типов сериализации. Он доступен только в входном процессоре и выходном процессоре.

Схема логических заданий

Схема логических заданий имеет похожий макет на физическую схему с тремя разделами, но имеет разные метрики и параметры конфигурации.

1. Раздел панели команд: на логической схеме можно использовать облачное задание (остановить, удалить) и настроить диапазон времени метрик задания. Представление схемы доступно только для логических схем.

2. Раздел схемы: поле узла в этом выборе представляет входные, выходные и запросы задания. Вы можете просматривать метрики в узле непосредственно или в разделе диаграммы интерактивно, щелкнув определенный узел в этом разделе. Дополнительные сведения об определении метрик см. в измерении имени узла Azure Stream Analytics.

3. Раздел диаграммы: раздел диаграммы на логической схеме содержит две вкладки: Метрики и журналы действий.

   • Метрики: данные метрик задания отображаются здесь, когда соответствующие метрики выбраны на правой панели.
   • Журналы действий: операции задания, выполняемые для заданий, показаны здесь. Если журнал диагностики задания включен, он также показан здесь. Дополнительные сведения о журналах заданий см . в журналах заданий Azure Stream Analytics.

   При загрузке схемы логических заданий метрики этого задания: задержка подложки, события ввода, выходные события и невыполненные входные события отображаются в разделе диаграммы в течение последних 30 минут.

Взаимодействие между разделом диаграммы и разделом диаграммы также доступно в логической схеме. Данные метрик будут фильтруться по свойствам узла.

Дополнительные сведения об отладке с помощью логических схем см. в разделе Отладка с помощью схемы логических заданий (предварительная версия) в портал Azure.

Следующие шаги

• Что такое Stream Analytics?
• Приступая к работе с Azure Stream Analytics: выявление мошенничества в режиме реального времени
• Метрики заданий Azure Stream Analytics
• Масштабирование заданий Azure Stream Analytics для повышения пропускной способности базы данных
• Stream Analytics Query Language Reference (Справочник по языку запросов Stream Analytics)
• Stream Analytics management REST API reference (Справочник по API-интерфейсу REST для управления Stream Analytics)