Поделиться через

Использование редактора без кода Azure Stream Analytics для преобразования и хранения данных в Azure SQL базе данных

  • Статья

В этой статье описывается, как с помощью редактора кода без труда создать задание Stream Analytics, которое непрерывно считывает данные из экземпляра Центров событий (концентратора событий), преобразует данные, а затем записывает результаты в базу данных Azure SQL.

Предварительные требования

Ресурсы базы данных Центры событий Azure и Azure SQL должны быть общедоступными и не должны находиться за брандмауэром или защищены в виртуальная сеть Azure. Данные в Центрах событий должны быть сериализованы в формате JSON, CSV или Avro.

Если вы хотите выполнить действия, описанные в этой статье, выполните следующие действия.

  • Создайте концентратор событий , если у вас его еще нет. Создание данных в концентраторе событий. На странице Экземпляр Центров событий выберите Создать данные (предварительная версия) в меню слева, выберите Стоковые данные для набора данных, а затем выберите Отправить , чтобы отправить некоторые примеры данных в концентратор событий. Этот шаг является обязательным, если вы хотите протестировать действия, описанные в этой статье.

    Снимок экрана: страница создания данных (предварительная версия) экземпляра Центров событий.

  • Создайте базу данных Azure SQL. Вот несколько важных моментов, которые следует учитывать при создании базы данных.

    1. На странице Основные сведения выберите Создать длясервера. Затем на странице Создание сервера База данных SQL выберите Использовать проверку подлинности SQL и укажите идентификатор и пароль администратора.

    2. На странице Сеть выполните следующие действия.

      1. Включите общедоступную конечную точку.
      2. Выберите значение Да для параметра Разрешить доступ к серверу службам и ресурсам Azure.
      3. Выберите Да для параметра Добавить текущий IP-адрес клиента.

    3. На странице Дополнительные параметры выберите Нет для параметра Использовать существующие данные.

    4. В этой статье пропустите действия в разделах Запрос к базе данных и Очистка ресурсов .

    5. Если вы хотите протестировать шаги, создайте таблицу в базе данных SQL с помощью редактора запросов (предварительная версия).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Создание задания Stream Analytics с помощью редактора без кода

В этом разделе описано, как создать задание Azure Stream Analytics с помощью редактора без кода. Задание преобразует потоковую передачу данных из экземпляра Центров событий (концентратора событий) и сохраняет результирующих данных в базе данных Azure SQL.

  1. В портал Azure перейдите на страницу Экземпляр Центров событий для концентратора событий.

  2. В меню слева выберите Компоненты>Обработка данных, а затем выберите Пуск на карта Преобразование и хранение данных в базе данных SQL.

    Снимок экрана: кнопка

  3. Введите имя задания Stream Analytics и нажмите кнопку Создать. Вы увидите схему задания Stream Analytics с окном Центров событий справа.

    Снимок экрана, на котором показано, где нужно ввести имя задания.

  4. В окне Концентратор событий проверьте параметры сериализации и режима проверки подлинности и выберите Подключиться.

    Снимок экрана: конфигурация подключения Центров событий.

  5. Если подключение установлено успешно и у вас есть данные в экземпляре Центров событий, вы увидите две вещи:

    • Наличие полей во входных данных. Вы можете нажать кнопку Добавить поле или выбрать символ с тремя точками рядом с каждым полем, чтобы удалить, переименовать его или изменить его тип.

      Снимок экрана: список полей Центров событий, где можно удалить, переименовать или изменить тип поля.

    • Динамический пример входящих данных в таблице Предварительный просмотр данных в представлении диаграммы. Она автоматически периодически обновляется. Вы можете выбрать Приостановить предварительный просмотр потоковой передачи, чтобы просмотреть статическое представление примера входных данных.

      Снимок экрана: пример данных на вкладке

  6. Выберите плитку Группировать по , чтобы агрегировать данные. На панели Конфигурации Группировать по можно указать поле, которое нужно сгруппировать по, а также временное окно.

    В следующем примере используется среднее значение цены и символа .

    Снимок экрана, на котором показана конфигурация группы по операторам.

  7. Вы можете проверить результаты шага в разделе Предварительный просмотр данных .

    Снимок экрана: предварительный просмотр данных для оператора group by.

  8. Выберите плитку Управление полями . На панели конфигурации Управление полями выберите поля, которые нужно вывести, выбрав Добавить поле ->Импортированная схема -> поле.

    Если вы хотите добавить все поля, выберите Добавить все поля. При добавлении поля можно указать другое имя для выходных данных. Например, AVG_Value в Value. После сохранения выбранных элементов вы увидите данные в области предварительного просмотра данных .

    В следующем примере выбраны символ и AVG_Value . Символ сопоставляется с символом, а AVG_Value сопоставляется с ценой.

    Снимок экрана, на котором показана конфигурация оператора управления полем.

  9. Выберите плитку SQL . На панели конфигурации База данных SQL введите необходимые параметры и подключитесь. Выберите Загрузить существующую таблицу , чтобы выбрать таблицу автоматически. В следующем примере [dbo].[stocks] выбран параметр . Затем щелкните Connect (Подключиться).

    Примечание

    Схема выбранной таблицы должна точно соответствовать количеству полей и их типам, создаваемым предварительным просмотром данных.

    Снимок экрана, на котором показана конфигурация выходных данных базы данных SQL.

  10. В области Предварительный просмотр данных вы увидите предварительный просмотр данных, которые будут приниматься в базе данных SQL.

    Снимок экрана: параметр

  11. Нажмите кнопку Сохранить, а затем выберите Запустить для выполнения задания Stream Analytics.

    Снимок экрана: параметры

  12. Чтобы запустить задание, укажите следующее.

    • Число единиц потоковой передачи, с которыми выполняется задание. Единицы потоковой передачи представляют объем вычислительных ресурсов и памяти, выделенных для задания. Мы рекомендуем начать с трех единиц, а затем при необходимости изменить это значение.

    • Обработка ошибок выходных данных — позволяет указать нужное поведение, если вывод задания в место назначения завершатся сбоем из-за ошибок данных. По умолчанию задание повторяется до тех пор, пока операция записи не будет выполнена. Вы также можете удалять такие выходные события.

      Снимок экрана: параметры задания Запуска Stream Analytics, где можно изменить время вывода, задать количество единиц потоковой передачи и выбрать параметры обработки ошибок выходных данных.

  13. Задание запустится в течение двух минут после нажатия кнопки Запустить. В нижней области откроется панель метрик . Обновление этой панели занимает некоторое время. Выберите Обновить в правом верхнем углу панели, чтобы обновить диаграмму. Перейдите к следующему шагу в отдельной вкладке или окне веб-браузера.

    Снимок экрана: метрики задания после его запуска.

    Вы также можете просмотреть задание в разделе Обработка данных на вкладке Задания Stream Analytics . Выберите Открыть метрики , чтобы отслеживать его или остановить и перезапустить при необходимости.

    Снимок экрана: вкладка

  14. Перейдите к концентратору событий на портале в отдельном окне браузера или на отдельной вкладке и снова отправьте пример данных о запасах (как это было в предварительных требованиях). На странице Экземпляр Центров событий выберите Создать данные (предварительная версия) в меню слева, выберите Стоковые данные для набора данных, а затем выберите Отправить , чтобы отправить некоторые примеры данных в концентратор событий. Обновление панели "Метрики " займет несколько минут.

  15. В базу данных Azure SQL должны быть вставлены записи.

    Снимок экрана: содержимое таблицы акций в базе данных.

Дальнейшие действия

Узнайте больше об Azure Stream Analytics и о том, как выполнять мониторинг созданного задания.