Фильтрация и прием в Azure Synapse SQL с помощью бескодового редактора Stream Analytics

В этой статье описывается, как использовать бескодовый редактор, чтобы упростить создание задания Stream Analytics. Это средство постоянно считывает данные из Центров событий, фильтрует входящие данные, а затем непрерывно записывает результаты в таблицу Synapse SQL.

Необходимые компоненты

• Ресурсы Центров событий Azure должны быть общедоступными, а не размещаться за брандмауэром или быть защищенными в виртуальной сети Azure
• Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.

Разработка задания Stream Analytics для фильтрации и приема данных

Чтобы разработать задание Stream Analytics для фильтрации и приема данных в таблицу Synapse SQL в режиме реального времени, выполните следующие действия.

1. На портале Azure найдите и выберите экземпляр Центров событий Azure.

2. Выберите Возможности > Обработать данные, а затем нажмите кнопку Запустить на карточке Фильтрация и прием данных в Synapse SQL.
   

3. Введите имя для определения задания Stream Analytics, а затем нажмите кнопку Создать.
   

4. Укажите тип сериализации данных в окне Центров событий, а также способ проверки подлинности, который задание будет использовать для подключения к Центрам событий. В этом случае выберите Подключиться.
   

5. Если подключение установлено и в экземпляр Центров событий поступают потоки данных, вы сразу увидите две вещи:

   • Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
     
   • Динамический пример входящих данных в таблице Предварительный просмотр данных в представлении диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.
     

6. В области "Фильтр" выберите поле для фильтрации входящих данных с помощью условия.
   

7. Выберите таблицу Synapse SQL для отправки отфильтрованных данных:

   1. В раскрывающемся меню выберите подписку, базу данных (имя выделенного пула SQL) и способ проверки подлинности.
   2. Введите имя таблицы, в которую будут поступать отфильтрованные данные. Нажмите Подключиться.
      

   Примечание.

   Схема таблицы должна точно соответствовать количеству полей и их типов, формируемых предварительным просмотром данных.

8. При необходимости выберите "Получить статический предварительный просмотр" или "Обновление статического предварительного просмотра", чтобы просмотреть предварительную версию данных, которые будут приняты в выбранную таблицу Synapse SQL.
   

9. Нажмите кнопку Сохранить, а затем выберите Запустить для задания Stream Analytics.
   

10. Чтобы запустить задание, укажите следующее.

    • Число единиц потоковой передачи, с которыми выполняется задание. Единицы потоковой передачи представляют объем вычислительных ресурсов и памяти, выделенных для задания. Мы рекомендуем начать с трех единиц, а затем при необходимости изменить это значение.
    • Обработка ошибок выходных данных — позволяет указать нужное поведение, если вывод задания в место назначения завершатся сбоем из-за ошибок данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.
      

11. После нажатия кнопки "Пуск" задание запускается в течение двух минут, а метрики будут открыты в разделе вкладки ниже.

    Вы также можете просмотреть задание в разделе "Данные процесса" на вкладке "Задания Stream Analytics". Выберите "Открыть метрики ", чтобы отслеживать или останавливать и перезапустить его по мере необходимости.

    

Рекомендации при использовании функции георепликации Центров событий

Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от функции географического аварийного восстановления Центры событий Azure.

Если тип отработки отказа является принудительной и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует точно один раз выходных данных в Центры событий Azure выходных данных.

Azure Stream Analytics в качестве производителя с выходными данными концентратора событий может наблюдать задержку водяного знака в задании во время отработки отказа и во время регулирования центрами событий в случае задержки репликации между основными и вторичными компонентами достигает максимально настроенной задержки.

Azure Stream Analytics, как потребитель с Центрами событий в качестве входных данных, может наблюдать задержку водяного знака в задании во время отработки отказа и может пропустить данные или найти дублирующиеся данные после завершения отработки отказа.

Из-за этих предостережения рекомендуется перезапустить задание Stream Analytics с соответствующим временем начала сразу после завершения отработки отказа Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, мы не рекомендуем использовать этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.

Следующие шаги

Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.

• Введение в Azure Stream Analytics
• Мониторинг заданий Stream Analytics с помощью портала Azure