Фильтрация и прием в Azure Data Explorer с помощью редактора кода Stream Analytics без использования

Статья
06/01/2023

В этой статье описывается, как использовать бескодовый редактор, чтобы упростить создание задания Stream Analytics. Он непрерывно считывает данные из Центров событий, фильтрует входящие данные, а затем постоянно записывает результаты в azure Data Explorer.

Предварительные требования

Ресурсы Центры событий Azure и azure Data Explorer должны быть общедоступными и не должны находиться за брандмауэром или защищены в azure виртуальная сеть
Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.

Разработка задания Stream Analytics для фильтрации и приема данных в режиме реального времени

В портал Azure найдите и выберите экземпляр Центры событий Azure.
Выберите Компоненты>Обработка данных, а затем нажмите кнопку Пуск на карточке Фильтровать и хранить данные в Azure Data Explorer.
Введите имя задания Stream Analytics и нажмите кнопку Создать.
Укажите тип сериализации данных в окне Центров событий, а также способ проверки подлинности, который задание будет использовать для подключения к Центрам событий. В этом случае выберите Подключиться.
Если подключение установлено и в экземпляр Центров событий поступают потоки данных, вы сразу увидите две вещи:
- Наличие полей во входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
- Динамический пример входящих данных в таблице Предварительный просмотр данных в представлении диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.
Выберите плитку Фильтр , чтобы агрегировать данные. В области "Фильтр" выберите поле для фильтрации входящих данных с помощью условия.
Выберите плитку Управление . На панели конфигурации Управление полями выберите поля, которые нужно вывести в концентратор событий. Если вы хотите добавить все поля, выберите Добавить все поля.
Выберите плитку Azure Data Explorer. На панели конфигурации введите необходимые параметры и подключитесь.

Примечание

Таблица должна существовать в выбранной базе данных, а схема таблицы должна точно соответствовать количеству полей и их типам, создаваемым предварительным просмотром данных.
При необходимости выберите Получить статический предварительный просмотр или Обновить статический предварительный просмотр , чтобы просмотреть предварительный просмотр данных, которые будут приниматься в концентраторе событий.
Нажмите кнопку Сохранить, а затем выберите Запустить для выполнения задания Stream Analytics.
Чтобы запустить задание, укажите следующее.
- Число единиц потоковой передачи, с которыми выполняется задание. Единицы потоковой передачи представляют объем вычислительных ресурсов и памяти, выделенных для задания. Мы рекомендуем начать с трех единиц, а затем при необходимости изменить это значение.
- Обработка ошибок выходных данных — позволяет указать нужное поведение, если вывод задания в место назначения завершатся сбоем из-за ошибок данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.
После нажатия кнопки Пуск задание начнет выполняться в течение двух минут, а метрики будут открыты в разделе вкладки ниже.

Вы также можете просмотреть задание в разделе Обработка данных на вкладке Задания Stream Analytics . Выберите Открыть метрики , чтобы отслеживать его или остановить и перезапустить при необходимости.