Использование редактора без кода Azure Stream Analytics для преобразования и хранения данных в базе данных SQL Azure

В этой статье описывается, как с помощью редактора кода легко создать задание Stream Analytics, которое непрерывно считывает данные из экземпляра Центров событий (концентратора событий), преобразует данные и записывает результаты в базу данных SQL Azure.

Предварительные условия

Ресурсы Центры событий Azure и база данных SQL Azure должны быть общедоступными и не защищены брандмауэром и не находиться в виртуальной сети Azure. Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.

Если вы хотите выполнить действия, описанные в этой статье, выполните следующие действия.

  • Создайте концентратор событий, если у вас еще нет. Сгенерируйте данные в концентраторе событий. На странице "Экземпляр центров событий" выберите "Создать данные (предварительная версия)" в меню слева, выберите "Биржевые данные" для набора данных и выберите "Отправить", чтобы отправить некоторые примеры данных в концентратор событий. Этот шаг необходим, если вы хотите протестировать шаги в этой статье.

    Снимок экрана, показывающий страницу генерации данных (предварительный просмотр) экземпляра Центра событий.

  • Создайте базу данных SQL Azure. Ниже приведены несколько важных моментов, которые необходимо отметить при создании базы данных.

    1. На странице "Основы" выберите "Создать" для сервера. Затем на странице "Создание База данных SQL сервера" выберите "Использовать проверку подлинности SQL" и укажите идентификатор пользователя и пароль администратора.

    2. На странице "Сеть" выполните следующие действия.

      1. Включите общедоступную конечную точку.
      2. Выберите значение Да для параметра Разрешить доступ к серверу службам и ресурсам Azure.
      3. Выберите "Да " для добавления текущего IP-адреса клиента.

    3. На странице "Дополнительные параметры" выберите "Нет" для использования существующих данных.

    4. В статье пропустить шаги в разделах «Запрос базы данных» и «Очистка ресурсов».

    5. Если вы хотите протестировать шаги, создайте таблицу в базе данных SQL с помощью редактора запросов (предварительная версия).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Создание задания Stream Analytics с помощью редактора без написания кода

В этом разделе описано, как создать задание Azure Stream Analytics с помощью редактора без кода. Задание преобразует потоковую передачу данных из экземпляра Центров событий (концентратора событий) и сохраняет данные результатов в базе данных SQL Azure.

  1. Перейдите на страницу экземпляра концентратора событий в портале Azure.

  2. Выберите Функции>Обработка данных в меню слева, а затем выберите Начать на карте Преобразование и хранение данных в базе данных SQL.

    Снимок экрана, показывающий карту

  3. Введите имя задания Stream Analytics и нажмите кнопку Создать. Вы увидите схему заданий Stream Analytics с окном Центров событий справа.

    Снимок экрана, на котором показано, где нужно ввести имя задания.

  4. В окне концентратора событий просмотрите параметры режима сериализации и проверки подлинности и выберите "Подключить".

    Снимок экрана: конфигурация подключения Центров событий.

  5. Когда подключение установлено успешно, и в вашем экземпляре Центра событий имеются данные, вы сможете наблюдать следующее:

    • Наличие полей в входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.

      Снимок экрана: список полей Центров событий, где можно удалить, переименовать или изменить тип поля.

    • Живой образец входящих данных в таблице Предварительный просмотр данных в виде представления диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.

      Снимок экрана: пример данных на вкладке

  6. Выберите плитку Группировать по, чтобы агрегировать данные. В панели конфигурации «Группировка по» вы можете указать поле, по которому требуется сгруппировать, вместе с временным окном.

    В следующем примере используется среднее значение цены и символа.

    Снимок экрана, демонстрирующий группировку по оператору конфигурации.

  7. Результаты шага можно проверить в разделе предварительного просмотра данных.

    Снимок экрана, показывающий предварительный просмотр данных, сгруппированных по оператору.

  8. Выберите плитку "Управление полями ". На панели конфигурации "Управление полями" выберите поля, которые нужно вывести, выбрав "Добавить поле ->Импортированная схема" —> поле.

    Если вы хотите добавить все поля, выберите "Добавить все поля". При добавлении поля можно указать другое имя выходных данных. Например, AVG_Value в Value. После сохранения выбранных элементов на панели предварительного просмотра данных отображаются данные.

    В следующем примере Symbol и AVG_Value выбраны. Символ сопоставляется с символом, и AVG_Value сопоставляется с ценой.

    Снимок экрана: конфигурация оператора поля управления.

  9. Выберите плитку SQL . На панели конфигурации База данных SQL заполните необходимые параметры и подключитесь. Выберите " Загрузить существующую таблицу" для автоматического выбора таблицы . В следующем примере выбран [dbo].[stocks]. Затем щелкните Connect (Подключиться).

    Примечание.

    Схема таблицы, выбранной для записи, должна точно соответствовать количеству полей и их типам, создаваемым предварительным просмотром данных.

    Снимок экрана: конфигурация выходных данных базы данных SQL.

  10. В области предварительного просмотра данных отображается предварительный просмотр данных, загруженных в SQL базу данных.

    Снимок экрана: параметр получения статического предварительного просмотра или обновления статического предварительного просмотра.

  11. Нажмите кнопку Сохранить, а затем выберите Запустить для задания Stream Analytics.

    Снимок экрана: параметры сохранения и запуска.

  12. Чтобы запустить задание, укажите следующее.

    • Число единиц потоковой передачи, с которыми выполняется задание. Единицы обработки (SUs) представляют объем вычислительных ресурсов и памяти, выделяемых для выполнения задачи. Мы рекомендовали начать с трех, а затем при необходимости скорректировать.

    • Обработка ошибок при передаче данных — позволяет указать требуемое поведение, если отправка задания на место назначения завершается сбоем из-за ошибок в данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.

      Снимок экрана: параметры задания Start Stream Analytics, где можно изменить время вывода, задать количество единиц потоковой передачи и выбрать параметры обработки ошибок выходных данных.

  13. Задание запустится в течение двух минут после нажатия кнопки Запустить. Откроется панель метрик в нижней области. Для обновления этой панели требуется некоторое время. Нажмите кнопку "Обновить" в правом верхнем углу панели, чтобы обновить диаграмму. Перейдите к следующему шагу на отдельной вкладке или окне веб-браузера.

    Снимок экрана: метрики задания после его запуска.

    Вы также можете просмотреть задание в разделе "Данные процесса" на вкладке "Задания Stream Analytics". Выберите "Открыть метрики ", чтобы отслеживать или останавливать и перезапустить его по мере необходимости.

    Снимок экрана: вкладка

  14. Перейдите к концентратору событий на портале в отдельном окне браузера или на вкладке, а затем снова отправьте пример данных о состоянии акций (как и в предварительных требованиях). На странице "Экземпляр центров событий" выберите "Создать данные (предварительная версия) в меню слева, выберите "Запас данных" для набора данных и нажмите кнопку "Отправить", чтобы отправить некоторые примеры данных в концентратор событий. Это займет несколько минут, чтобы просмотреть обновленную панель метрик .

  15. Записи, вставляемые в базу данных SQL Azure, должны отображаться.

    Снимок экрана: содержимое таблицы акций в базе данных.

Рекомендации при использовании функции георепликации Центров событий

Центры событий Azure недавно запустили Функция георепликации в общедоступной предварительной версии. Эта функция отличается от Центры событий Azure функции Geo Disaster Recovery.

Если тип отказоустойчивости является принудительным и согласованность репликации является асинхронной, задание Stream Analytics не гарантирует получение точного одного результата на выход в Центры событий Azure.

Azure Stream Analytics, действуя как производитель с концентратором событий в качестве выхода, может наблюдать задержку водяного знака в процессе задания во время отказа и при ограничениях, налагаемых Event Hubs, если задержка репликации между первичной и вторичной репликами достигает максимальной заданной задержки.

Azure Stream Analytics, как потребитель, использующий Центры событий в качестве входных данных, может наблюдать задержку водяного знака в работе в период отказоустойчивости и может пропустить данные или обнаружить их дублирование после восстановления системы после отказа.

Из-за этих оговорок перезапустите задание Stream Analytics с соответствующим временем начала сразу после завершения переключения Центров событий. Кроме того, так как функция георепликации Центров событий находится в общедоступной предварительной версии, не используйте этот шаблон для рабочих заданий Stream Analytics на данный момент. Текущее поведение Stream Analytics улучшится, прежде чем функция георепликации Центров событий общедоступна и может использоваться в рабочих заданиях Stream Analytics.

Следующие шаги

Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.

  • Last updated on