Обработка данных из концентратора событий с помощью Azure Stream Analytics

Служба Azure Stream Analytics упрощает прием, обработку и анализ потоковой передачи данных из Центров событий Azure, позволяя получать эффективные аналитические данные для выполнения действий в реальном времени. Вы можете использовать портал Azure для визуализации входящих данных и создания запроса Stream Analytics. Когда запрос будет готов, его можно переместить в рабочую среду, всего несколько раз щелкнув мышью.

Ключевые преимущества

Ниже приведены основные преимущества Центров событий Azure и интеграции Azure Stream Analytics.

• Предварительный просмотр данных. Можно просмотреть входящие данные из концентратора событий на портале Azure.
• Тестирование запроса. Подготовка запроса преобразования и его тестирование непосредственно на портале Azure. Синтаксис языка запросов см. в документации по языку запросов Azure Stream Analytics.
• Развертывание запроса в рабочей среде. Можно развернуть запрос в рабочей среде, создав и запустив задание Azure Stream Analytics.

Полный поток процесса

Внимание

• Если вы не имеете роль Владелец или Участник на уровне подписки Azure, вам потребуется роль Тестировщик запросов Stream Analytics на уровне подписки Azure, чтобы успешно выполнить описанные в этом разделе действия. Эта роль позволяет выполнять тестирование запросов, не создавая специального задания Stream Analytics. Инструкции по назначению роли пользователю см. в этой статье.
• Если концентратор событий разрешает только частный доступ через частные конечные точки, необходимо присоединить задание Stream Analytics к той же сети, чтобы задание могло получить доступ к событиям в концентраторе событий.

1. Войдите на портал Azure.

2. Перейдите к пространству имен Центров событий и перейдите к концентратору событий, который содержит входящие данные.

3. В меню навигации слева разверните узел "Функции" и выберите "Обработка данных", а затем выберите "Пуск" на плитке "Включить аналитику в режиме реального времени" на плитке событий.

   

4. Вы увидите страницу запроса со значениями, которые уже заданы для следующих полей. Если появится всплывающее окно о группе потребителей и созданной политике, нажмите кнопку "ОК". На этой вкладке вы сразу увидите моментальный снимок последних входящих данных.

   1. Концентратор событий в качестве входных данных для запроса.

   2. Пример запроса SQL с оператором SELECT.

   3. Выходной псевдоним для ссылки на результаты теста запроса.

      

   • Тип сериализации в данных определяется автоматически (JSON/CSV). Вы можете вручную изменить его на JSON/CSV/AVRO.

   • Вы можете просмотреть входящие данные в формате таблицы или необработанном формате.

   • Если данные не актуальны, выберите Refresh (Обновить), чтобы просмотреть последние события.

   • На предыдущем рисунке результаты отображаются в формате таблицы. Чтобы просмотреть необработанные данные, выберите "Необработанный"

     

5. Выберите Тестовый запрос, чтобы просмотреть моментальный снимок результатов тестирования запроса на вкладке Результаты теста. Вы также можете скачать эти результаты.

   

   Напишите собственный запрос для преобразования данных. См. Справочник по языку запросов Stream Analytics.

6. После тестирования запроса и его перемещения в рабочую среду выберите "Создать задание Stream Analytics".

   

7. На странице Новое задание New Stream Analytics сделайте следующее:

   1. Укажите имя задания.

   2. Выберите подписку Azure, в которой нужно создать задание.

   3. Выберите группу ресурсов для ресурса задания Stream Analytics.

   4. Выберите расположение задания.

   5. Для имени политики Центров событий создайте новую политику или выберите существующую.

   6. Для группы потребителей Центров событий создайте новую группу потребителей или выберите существующую группу потребителей.

   7. Выберите "Создать", чтобы создать задание Stream Analytics.

      

      Примечание.

      Рекомендуется создавать группу потребителей и политику для каждого нового задания Azure Stream Analytics, которое вы будете создавать на странице "Центры событий". Группы потребителей допускают только пять одновременных средств чтения, поэтому для каждого задания выделяется выделенная группа потребителей, что позволяет избежать ошибок, которые могут возникнуть из-за превышения этого ограничения. Выделенная политика позволяет поворачивать ключ или отзывать разрешения без влияния на другие ресурсы.

8. Теперь ваше задание Stream Analytics создано, запрос прошел проверку, а входные данные здесь — это концентратор событий.

   

9. Добавьте выходные данные выбранного варианта.

10. Вернитесь на страницу заданий Stream Analytics, щелкнув имя задания в ссылке навигации.

11. Выберите " Изменить запрос " над окном запроса .

12. Обновите [OutputAlias] имя выходных данных и нажмите кнопку "Сохранить запрос " над запросом. Закройте страницу запроса, выбрав X в правом верхнем углу.

13. Теперь на странице задания Stream Analytics нажмите кнопку "Пуск " на панели инструментов, чтобы запустить задание.

    

Открыть

Проблема . Пользователь не может получить доступ к данным предварительной версии, так как у них нет правильных разрешений на подписку.

Способ 1. Пользователь, который хочет предварительно просмотреть входящие данные, должен быть добавлен в качестве участника в подписке.

Способ 2. Пользователь должен быть добавлен с ролью тестировщика запросов Stream Analytics в подписке. Перейдите к управлению доступом для подписки. Добавьте новое назначение роли "тестировщик запросов Stream Analytics" для пользователя.

Способ 3. Пользователь может создать задание Azure Stream Analytics. Задайте входные данные в качестве этого концентратора событий и перейдите к запросу, чтобы просмотреть входящие данные из этого концентратора событий.

Способ 4. Администратор может создать настраиваемую роль в подписке. Добавьте следующие разрешения для настраиваемой роли, а затем добавьте пользователя в новую настраиваемую роль.

Единицы потоковой передачи

В задании Azure Stream Analytics по умолчанию используются три единицы потоковой передачи. Чтобы настроить этот параметр, выберите Масштаб в меню слева на странице Задание Stream Analytics на портале Azure. Дополнительные сведения о единицах потоковой передачи см. в разделе Знакомство с единицами потоковой передачи и их настройка.

Рекомендации при использовании функции георепликации Центров событий

Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от функции географического аварийного восстановления Центры событий Azure.

Если тип отработки отказа является принудительной и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует точно один раз выходных данных в Центры событий Azure выходных данных.

Azure Stream Analytics в качестве производителя с выходными данными концентратора событий может наблюдать задержку водяного знака в задании во время отработки отказа и во время регулирования центрами событий в случае задержки репликации между основными и вторичными компонентами достигает максимально настроенной задержки.

Azure Stream Analytics, как потребитель с Центрами событий в качестве входных данных, может наблюдать задержку водяного знака в задании во время отработки отказа и может пропустить данные или найти дублирующиеся данные после завершения отработки отказа.

Из-за этих предостережения рекомендуется перезапустить задание Stream Analytics с соответствующим временем начала сразу после завершения отработки отказа Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, мы не рекомендуем использовать этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.

Связанный контент

Дополнительные сведения о запросах Stream Analytics см. в разделе Язык запросов Stream Analytics.