Фильтрация и получение в Azure Data Explorer с помощью редактора без кода Stream Analytics

В этой статье описывается, как использовать бескодовый редактор, чтобы упростить создание задания Stream Analytics. Он постоянно считывает данные из центров событий, фильтрует входящие данные, а затем записывает результаты в Azure Data Explorer непрерывно.

Предварительные условия

• Ресурсы Центры событий Azure и Azure Data Explorer должны быть общедоступными и не находиться за брандмауэром или в защищенной виртуальной сети Azure.
• Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.

Разработка задания Stream Analytics для фильтрации и приема данных в режиме реального времени

1. В портале Azure найдите и выберите экземпляр Центра событий Azure.

2. Выберите Функции>Обработка данных, а затем нажмите Пуск на карточке Фильтр и хранение данных в Azure Data Explorer.

   

3. Введите имя задания Stream Analytics и нажмите кнопку Создать.

   

4. Укажите тип сериализации данных в окне Центров событий, а также способ проверки подлинности, который задание будет использовать для подключения к Центрам событий. В этом случае выберите Подключиться.
   

5. Когда подключение успешно установлено и потоки данных поступают в ваш экземпляр Event Hubs, вы сразу увидите две вещи:

   • Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
     
   • Живой образец входящих данных в таблице Предварительный просмотр данных в виде представления диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.
     

6. Выберите плитку "Фильтр", чтобы агрегировать данные. В области "Фильтр" выберите поле для фильтрации входящих данных с помощью условия.

   

7. Выберите плитку "Управление ". На панели конфигурации "Управление полями" выберите поля, которые нужно вывести в концентратор событий. Если вы хотите добавить все поля, выберите "Добавить все поля".

   

8. Выберите плитку Azure Data Explorer . На панели конфигурации заполните необходимые параметры и подключитесь.

   Примечание.

   Таблица должна существовать в выбранной базе данных, а схема таблицы должна точно соответствовать количеству полей и их типов, создаваемых предварительным просмотром данных.

   

9. При необходимости выберите "Получить статическое предварительное представление" или "Обновить статическое предварительное представление", чтобы просмотреть предварительные данные, которые будут загружены в Event Hub.
   

10. Нажмите кнопку Сохранить, а затем выберите Запустить для задания Stream Analytics.
    

11. Чтобы запустить задание, укажите следующее.

    • Число единиц потоковой передачи, с которыми выполняется задание. Единицы обработки (SUs) представляют объем вычислительных ресурсов и памяти, выделяемых для выполнения задачи. Мы рекомендовали начать с трех, а затем при необходимости скорректировать.
    • Обработка ошибок при передаче данных — позволяет указать требуемое поведение, если отправка задания на место назначения завершается сбоем из-за ошибок в данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.
      

12. После нажатия кнопки "Пуск" задание запускается в течение двух минут, а метрики будут открыты в разделе вкладки ниже.

    

    Вы также можете просмотреть задание в разделе "Данные процесса" на вкладке "Задания Stream Analytics". Выберите "Открыть метрики ", чтобы отслеживать или останавливать и перезапустить его по мере необходимости.

    

Рекомендации при использовании функции георепликации Центров событий

Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от Центры событий Azure функции Geo Disaster Recovery.

Если тип отказоустойчивости является принудительным и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует получение точного одного результата на выход в Центры событий Azure.

Azure Stream Analytics, действуя как производитель с концентратором событий в качестве выхода, может наблюдать задержку водяного знака в процессе задания во время отказа и при ограничениях, налагаемых Event Hubs, если задержка репликации между первичной и вторичной репликами достигает максимальной заданной задержки.

Azure Stream Analytics, как потребитель, использующий Центры событий в качестве входных данных, может наблюдать задержку водяного знака в работе в период отказоустойчивости и может пропустить данные или обнаружить их дублирование после восстановления системы после отказа.

Из-за этих оговорок перезапустите задание Stream Analytics с соответствующим временем начала сразу после завершения переключения Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, не используйте этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.

Следующие шаги

Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.

• Введение в Azure Stream Analytics
• Мониторинг заданий Stream Analytics с помощью портала Azure