Обогащение данных и прием в концентратор событий с помощью Stream Analytics не редактора кода
В этой статье описывается, как использовать бескодовый редактор, чтобы упростить создание задания Stream Analytics. Он постоянно считывает данные из центров событий, обогащает входящие данные справочными данными SQL, а затем постоянно записывает результаты в концентратор событий.
Необходимые компоненты
- Ресурсы ссылочных данных Центры событий Azure и SQL должны быть общедоступными и не защищены брандмауэром или защищены в виртуальная сеть Azure.
- Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.
Разработка задания Stream Analytics для обогащения данных концентратора событий
На портале Azure найдите и выберите экземпляр Центров событий Azure.
Выберите "Функции>обработки данных", а затем нажмите кнопку "Пуск" на карточке "Обогащение данных" и приема данных концентратора событий.
Введите имя задания Stream Analytics и нажмите кнопку Создать.
Укажите тип сериализации данных в окне Центров событий, а также способ проверки подлинности, который задание будет использовать для подключения к Центрам событий. В этом случае выберите Подключиться.
Если подключение установлено и в экземпляр Центров событий поступают потоки данных, вы сразу увидите две вещи:
- Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
- Динамический пример входящих данных в таблице Предварительный просмотр данных в представлении диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.
- Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
Выберите плитку "Справочные данные SQL", чтобы подключиться к эталонной базе данных SQL.
Выберите плитку "Присоединиться ". На правой панели конфигурации выберите поле из каждого входного элемента, чтобы присоединить входящие данные из двух входных данных.
Выберите плитку "Управление ". На панели конфигурации "Управление полями" выберите поля, которые нужно вывести в концентратор событий. Если вы хотите добавить все поля, выберите "Добавить все поля".
Выберите плитку Концентратора событий. На панели конфигурации Концентратора событий заполните необходимые параметры и подключитесь аналогично конфигурации входного концентратора событий.
При необходимости выберите "Получить статическую предварительную версию" или "Обновить статическую предварительную версию ", чтобы просмотреть предварительный просмотр данных, который будет приемлен в концентраторе событий.
Нажмите кнопку Сохранить, а затем выберите Запустить для задания Stream Analytics.
Чтобы запустить задание, укажите следующее.
- Число единиц потоковой передачи, с которыми выполняется задание. Единицы потоковой передачи представляют объем вычислительных ресурсов и памяти, выделенных для задания. Мы рекомендуем начать с трех единиц, а затем при необходимости изменить это значение.
- Обработка ошибок выходных данных — позволяет указать нужное поведение, если вывод задания в место назначения завершатся сбоем из-за ошибок данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.
После нажатия кнопки "Пуск" задание запускается в течение двух минут, а метрики будут открыты в разделе вкладки ниже.
Вы также можете просмотреть задание в разделе "Данные процесса" на вкладке "Задания Stream Analytics". Выберите "Открыть метрики ", чтобы отслеживать или останавливать и перезапустить его по мере необходимости.
Рекомендации при использовании функции георепликации Центров событий
Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от функции географического аварийного восстановления Центры событий Azure.
Если тип отработки отказа является принудительной и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует точно один раз выходных данных в Центры событий Azure выходных данных.
Azure Stream Analytics в качестве производителя с выходными данными концентратора событий может наблюдать задержку водяного знака в задании во время отработки отказа и во время регулирования центрами событий в случае задержки репликации между основными и вторичными компонентами достигает максимально настроенной задержки.
Azure Stream Analytics, как потребитель с Центрами событий в качестве входных данных, может наблюдать задержку водяного знака в задании во время отработки отказа и может пропустить данные или найти дублирующиеся данные после завершения отработки отказа.
Из-за этих предостережения рекомендуется перезапустить задание Stream Analytics с соответствующим временем начала сразу после завершения отработки отказа Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, мы не рекомендуем использовать этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.
Следующие шаги
Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.