Фильтрация и поглощение в Azure Synapse SQL с помощью бескодового редактора Stream Analytics.

В этой статье описывается, как использовать бескодовый редактор, чтобы упростить создание задания Stream Analytics. Это средство постоянно считывает данные из Центров событий, фильтрует входящие данные, а затем непрерывно записывает результаты в таблицу Synapse SQL.

Предварительные условия

• Ресурсы Центров событий Azure должны быть общедоступными, а не размещаться за брандмауэром или быть защищенными в виртуальной сети Azure
• Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.

Разработайте задание Stream Analytics для фильтрации и приема данных

Чтобы разработать задание Stream Analytics для фильтрации и приема данных в таблицу Synapse SQL в режиме реального времени, выполните следующие действия.

1. Найдите и выберите ваш экземпляр службы Центры событий Azure в Azure-портале.

2. Выберите Возможности >Обработать данные, а затем нажмите кнопку Запустить на карточке Фильтрация и прием данных в Synapse SQL.
   

3. Введите имя для определения задания Stream Analytics, а затем нажмите кнопку Создать.
   

4. Укажите тип сериализации данных в окне Центров событий, а также способ проверки подлинности, который задание будет использовать для подключения к Центрам событий. В этом случае выберите Подключиться.
   

5. Когда подключение успешно установлено и потоки данных поступают в ваш экземпляр Event Hubs, вы сразу увидите две вещи:

   • Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.
     
   • Живой образец входящих данных в таблице Предварительный просмотр данных в виде представления диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.
     

6. В области "Фильтр" выберите поле для фильтрации входящих данных с помощью условия.
   

7. Выберите таблицу Synapse SQL для отправки отфильтрованных данных:

   1. В раскрывающемся меню выберите подписку, базу данных (имя выделенного пула SQL) и способ проверки подлинности.
   2. Введите имя таблицы, в которую будут поступать отфильтрованные данные. Нажмите Подключиться.
      

   Примечание.

   Схема таблицы должна точно соответствовать количеству полей и их типов, формируемых предварительным просмотром данных.

8. При необходимости выберите "Получить статический предварительный просмотр" или "Обновление статического предварительного просмотра", чтобы просмотреть предварительную версию данных, которые будут приняты в выбранную таблицу Synapse SQL.
   

9. Нажмите кнопку Сохранить, а затем выберите Запустить для задания Stream Analytics.
   

10. Чтобы запустить задание, укажите следующее.

    • Число единиц потоковой передачи, с которыми выполняется задание. Единицы обработки (SUs) представляют объем вычислительных ресурсов и памяти, выделяемых для выполнения задачи. Мы рекомендовали начать с трех, а затем при необходимости скорректировать.
    • Обработка ошибок при передаче данных — позволяет указать требуемое поведение, если отправка задания на место назначения завершается сбоем из-за ошибок в данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.
      

11. После нажатия кнопки "Пуск" задание запускается в течение двух минут, а метрики будут открыты в разделе вкладки ниже.

    Вы также можете просмотреть задание в разделе "Данные процесса" на вкладке "Задания Stream Analytics". Выберите "Открыть метрики ", чтобы отслеживать или останавливать и перезапустить его по мере необходимости.

    

Рекомендации при использовании функции георепликации Центров событий

Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от Центры событий Azure функции Geo Disaster Recovery.

Если тип отказоустойчивости является принудительным и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует получение точного одного результата на выход в Центры событий Azure.

Azure Stream Analytics, действуя как производитель с концентратором событий в качестве выхода, может наблюдать задержку водяного знака в процессе задания во время отказа и при ограничениях, налагаемых Event Hubs, если задержка репликации между первичной и вторичной репликами достигает максимальной заданной задержки.

Azure Stream Analytics, как потребитель, использующий Центры событий в качестве входных данных, может наблюдать задержку водяного знака в работе в период отказоустойчивости и может пропустить данные или обнаружить их дублирование после восстановления системы после отказа.

Из-за этих оговорок перезапустите задание Stream Analytics с соответствующим временем начала сразу после завершения переключения Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, не используйте этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.

Следующие шаги

Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.

• Введение в Azure Stream Analytics
• Мониторинг заданий Stream Analytics с помощью портала Azure