Обработка потока без кода в Azure Stream Analytics

Редактор без кода позволяет легко разрабатывать задание Stream Analytics для обработки потоковых данных в режиме реального времени с помощью функции перетаскивания без написания одной строки кода. Этот интерфейс предоставляет платформу, позволяющую подключаться к источникам входных данных, чтобы быстро видеть данные потоковой передачи. Затем его можно преобразовать перед записью в места назначения.

С помощью редактора без кода можно легко:

• Изменение входных схем.
• Выполнение операций подготовки данных, таких как соединения и фильтры.
• Подходите к расширенным сценариям, таким как агрегирование временных окон (скользящие, перекидные и сессионные окна) для групповых операций.

После создания и запуска заданий Stream Analytics вы можете легко настроить и внедрить рабочие нагрузки в производственной среде. Используйте правильный набор встроенных метрик для мониторинга и устранения неполадок. Счета за задания Stream Analytics выставляются в соответствии с моделью ценообразования при их выполнении.

Требования

Прежде чем разрабатывать задания Stream Analytics с помощью редактора кода без кода, необходимо выполнить следующие требования:

• Источники потоковой передачи и целевые ресурсы назначения для задания Stream Analytics должны быть общедоступными и не могут находиться в виртуальной сети Azure.
• Требуются необходимые разрешения для доступа к ресурсам потоковой передачи входных и выходных данных.
• Вам следует поддерживать разрешения на создание и изменение ресурсов Azure Stream Analytics.

Примечание.

Редактор без кода в настоящее время недоступен в Китае.

Задание Azure Stream Analytics

Задание Stream Analytics состоит из трех основных компонентов: входы, преобразования и выходы данных потоковой передачи. Вы можете иметь столько компонентов, сколько требуется, включая несколько входных данных, параллельные ветви с несколькими преобразованиями и несколькими выходными данными. Дополнительные сведения см. в документации по Azure Stream Analytics.

Примечание.

Следующие функции и типы выходных данных недоступны при использовании редактора без кода:

• Определяемые пользователем функции.
• Изменение запросов в панели запросов Azure Stream Analytics. Однако вы можете просмотреть запрос, созданный редактором без кода в колонке запросов.
• Добавление входных и выходных данных в панели ввода/вывода Azure Stream Analytics. Однако можно просмотреть входные и выходные данные, созданные редактором без кода в колонке входных и выходных данных.
• Следующие типы выходных данных недоступны: Azure Function, ADLS Gen1, база данных PostgreSQL, очередь/тема Service Bus, табличное хранилище.

Чтобы получить доступ к редактору без кода для создания задания Stream Analytics, существует два подхода:

1. На портале Azure Stream Analytics (предварительная версия): создайте задание Stream Analytics, а затем выберите редактор кода без кода на вкладке "Начало работы" на странице "Обзор" или выберите редактор без кода на левой панели.

   

2. Через портал Azure Event Hubs: откройте экземпляр Event Hubs. Выберите "Обработка данных" и выберите любой предопределенный шаблон.

   

   Стандартные шаблоны могут помочь вам в разработке и выполнении задания для решения различных сценариев, в том числе:

   • Сбор данных из Центров событий в формате Delta Lake (предварительная версия)
   • Фильтрация и загрузка данных в Azure Synapse SQL
   • Запись данных Event Hubs в формате Parquet в хранилище данных Azure Data Lake Storage 2-го поколения
   • Материализация данных в Azure Cosmos DB
   • Фильтрация и прием данных в Azure Data Lake Storage 2-го поколения
   • Обогащение данных и их отправка в шину событий
   • Преобразование и хранение данных в базе данных SQL Azure
   • Фильтрация и загрузка в Azure Data Explorer

На следующем снимках экрана показано завершенное задание Stream Analytics. Он выделяет все разделы, доступные вам при написании документа.

1. Лента: на ленте разделы следуют порядку классического процесса аналитики: концентратор событий в качестве входных данных (также известный как источник данных), преобразования (операции потокового извлечения, преобразования и загрузки), выходные данные, кнопка для сохранения хода выполнения и кнопка, чтобы запустить задание.
2. Режим диаграммы: это графическое представление вашего задания Stream Analytics, от входных данных через операции к выходным данным.
3. Боковая область. В зависимости от компонента, выбранного в представлении диаграммы, отображаются параметры для изменения входных, преобразований или выходных данных.
4. Вкладки для предварительного просмотра данных, ошибок разработки, журналов среды выполнения и метрик. Для каждой плитки предварительный просмотр данных показывает результаты этого шага (динамически для входных данных; по запросу на преобразования и выходные данные). Кроме того, в этом разделе содержится сводка ошибок и предупреждений, которые могут возникнуть в задании при разработке. При выборе каждой ошибки или предупреждения выбирается это преобразование. Он также предоставляет метрики заданий, позволяющие контролировать состояние выполняющейся задачи.

Вход потоковых данных

Редактор без кода поддерживает потоковую передачу данных из трех типов ресурсов:

• Центры событий Azure
• Центр Интернета вещей Azure
• Azure Data Lake Storage 2-го поколения

Для получения дополнительной информации о потоковых входных данных см. раздел Использование потоковых данных в качестве входных в Stream Analytics.

Примечание.

Редактор без кода на портале Центры событий Azure имеет Event Hub в качестве единственной входной опции.

Центры событий Azure в качестве входных данных потоковой передачи

Центры событий Azure представляют собой платформу потоковой передачи больших данных и службу приема событий. Она может получать и обрабатывать миллионы событий в секунду. Данные, отправленные в концентратор событий, можно преобразовать и сохранить с помощью любого поставщика аналитики в режиме реального времени или адаптера пакетной обработки или хранилища.

Чтобы настроить концентратор событий в качестве входных данных для задания, выберите значок Концентратора событий. В представлении схемы появится соответствующая область, включая боковую панель для ее настройки и подключения.

При подключении к концентратору событий в редакторе без кода рекомендуется создать новую группу потребителей (которая является параметром по умолчанию). Этот подход помогает предотвратить достижение ограничения одновременных читателей узла событий. Дополнительные сведения о группах потребителей и о том, следует ли выбрать существующую группу потребителей или создать новую, см. в разделе "Группы потребителей".

Если концентратор событий находится на уровне "Базовый", можно использовать только существующую группу потребителей $Default . Если концентратор событий находится на уровне "Стандартный" или "Премиум", можно создать новую группу потребителей.

При подключении к концентратору событий, при выборе управляемого удостоверения в качестве режима проверки подлинности, роль владельца данных Event Hubs Azure предоставляется управляемому удостоверению для задачи Stream Analytics. Дополнительные сведения об управляемых удостоверениях для концентратора событий см. в статье Использование управляемых удостоверений для доступа к концентратору событий из задания Azure Stream Analytics.

Управляемые удостоверения устраняют ограничения методов проверки подлинности на основе пользователей. Эти ограничения включают необходимость повторной проверки подлинности из-за изменений паролей или истечения срока действия маркера пользователя, которые происходят каждые 90 дней.

После настройки сведений о концентраторе событий и нажатия кнопки "Подключить" можно добавить поля вручную с помощью +Добавить поле , если вы знаете имена полей. Чтобы вместо этого обнаруживать поля и типы данных автоматически на основе образца входящих сообщений, выберите поля автоматического определения. Выбрав символ шестеренки, можно при необходимости редактировать учетные данные.

Поля отображаются в списке, когда задания Stream Analytics обнаруживают их. Вы также увидите динамическую предварительную версию входящих сообщений в таблице предварительного просмотра данных в представлении схемы.

Изменение входных данных

Можно изменить имена полей, удалить поля, изменить тип данных или изменить время события (пометить как время события: предложение TIMESTAMP BY, если поле типа даты и времени), выбрав значок с тремя точками рядом с каждым полем. Вы также можете развернуть, выбрать и изменить все вложенные поля из входящих сообщений, как показано на следующем рисунке.

Совет

Это относится к входным данным из Azure IoT Hub и Azure Data Lake Storage Gen2 также.

Доступные типы данных:

• DateTime: поле даты и времени в формате ISO.
• Float: Десятичное число.
• Int: целочисленный номер.
• Запись: вложенный объект с несколькими записями.
• Строка: текст.

Azure IoT Hub в качестве потока входных данных

Центр Интернета вещей Azure — размещенная в облаке управляемая служба, которая выступает в качестве центра сообщений для взаимодействия между приложением Интернета вещей и подключенными устройствами. Данные устройства Интернета вещей, отправленные в Центр Интернета вещей, можно использовать в качестве входных данных для задания Stream Analytics.

Примечание.

Доступ к входу Azure IoT Hub происходит в редакторе без кода на портале Azure Stream Analytics.

Чтобы добавить Центр Интернета вещей в качестве потокового ввода для задания, выберите Центр Интернета вещей в разделе "Входные данные" на ленте. Затем введите необходимые сведения на правой панели, чтобы подключить центр Интернета вещей к заданию. Дополнительные сведения о каждом поле см. в статье Передача данных из Центра Интернета вещей в задание Stream Analytics.

Azure Data Lake Storage поколения 2 для ввода потоковых данных

Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) — это облачное решение корпоративного озера данных. Она предназначена для хранения больших объемов данных в любом формате и упрощения аналитических рабочих нагрузок больших данных. Данные, хранящиеся в ADLS 2-го поколения, можно обрабатывать в виде потока данных Stream Analytics. Дополнительные сведения об этом типе входных данных см. в статье "Потоковая передача данных из ADLS 2-го поколения" в задание Stream Analytics

Примечание.

Azure Data Lake Storage 2-го поколения входные данные доступны в редакторе без кода на портале Azure Stream Analytics.

Чтобы добавить ADLS Gen2 в качестве потокового ввода для задания, выберите ADLS Gen2 в разделе Входные данные на панели инструментов. Затем введите необходимые сведения на правой панели, чтобы подключить ADLS 2-го поколения к заданию. Дополнительные сведения о каждом поле см. в разделе Потоковая передача данных из ADLS Gen2 в задание Stream Analytics

Входные ссылочные данные

Справочные данные являются статическими или изменяются медленно с течением времени. Обычно он используется для обогащения входящих потоков и поиска в вашей работе. Например, можно присоединить входные данные потока данных к эталонным данным, так как вы выполнили бы соединение SQL для поиска статических значений. Дополнительные сведения о входных данных эталонных данных см. в разделе Использование эталонных данных для использования в Stream Analytics.

Редактор без кода теперь поддерживает два эталонных источника данных:

• Azure Data Lake Storage 2-го поколения
• База данных SQL Azure

Azure Data Lake Storage 2-го поколения в качестве эталонных данных

Эталонные данные моделируются как последовательность больших двоичных объектов, расположенных в порядке возрастания, согласно комбинации даты и времени, указанной в имени объекта. Добавлять блобы в конец последовательности можно только с использованием даты и времени, превышающих дату и время последнего блоба, указанного в последовательности. BLOB-объекты определяются во входной конфигурации.

Сначала в разделе Входные данные на ленте выберите Ссылка на ADLS Gen2. Дополнительные сведения о каждом поле см. в разделе об Хранилище BLOB-объектов Azure в разделе "Использование справочных данных для поиска в Stream Analytics".

Затем отправьте файл массива JSON. Будут обнаружены поля в файле. Используйте эти справочные данные для преобразования с потоковыми входными данными из Центров событий.

База данных SQL Azure в качестве эталонных данных

Вы можете использовать базы данных Azure SQL в качестве эталонных данных для задания Stream Analytics в редакторе без использования кода. Дополнительные сведения см. в разделе об База данных SQL в разделе "Использование справочных данных для поиска в Stream Analytics".

Чтобы настроить SQL Database в качестве справочных входных данных, выберите Справочная база данных SQL в разделе Входные данные на ленте. Затем заполните сведения для подключения эталонной базы данных и выберите таблицу с необходимыми столбцами. Вы также можете получить справочные данные из таблицы, изменив SQL-запрос вручную.

Преобразования

Преобразования потоковых данных по сути отличаются от преобразований пакетных данных. Почти все потоковые данные имеют компонент времени, который влияет на все задачи подготовки данных.

Чтобы добавить преобразование потоковых данных в задание, выберите символ преобразования в разделе "Операции " на ленте для этого преобразования. Соответствующая область будет удалена в представлении схемы. Выбрав его, вы увидите боковую панель этого преобразования, где вы сможете его настроить.

Фильтр

Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование будет хранить значения, соответствующие выбранному условию.

Примечание.

Внутри каждой плитки вы увидите информацию о том, что еще необходимо для готовности преобразования. Например, при добавлении новой плитки появится сообщение Требуется настройка. Если соединитель узла отсутствует, появится сообщение об ошибке или предупреждение .

Управление полями

Преобразование "Управление полями " позволяет добавлять, удалять или переименовать поля, поступающие из входного или другого преобразования. Параметры на боковой панели предоставляют возможность добавления нового, нажав кнопку "Добавить поле " или добавив все поля одновременно.

Вы также можете добавить новое поле со встроенными функциями , чтобы агрегировать данные из вышестоящего потока. В настоящее время встроенные функции, которые мы поддерживаем, являются некоторыми функциями в строковых функциях, функциях даты и времени, математических функциях. Дополнительные сведения об определениях этих функций см. в статье "Встроенные функции" (Azure Stream Analytics).

Совет

После настройки плитки представление схемы дает представление о параметрах в плитке. Например, в области "Управление полями" предыдущего изображения можно увидеть первые три поля , которыми управляются, и новые имена, назначенные им. Каждая плитка содержит сведения, относящиеся к нему.

Агрегат

Вы можете использовать преобразование "Агрегат" для вычисления агрегата (суммы, минимального, максимального или среднего) каждый раз, когда новое событие происходит за период времени. Эта операция также позволяет фильтровать или разбивать агрегирование по другим измерениям ваших данных. В одной трансформации можно иметь одну или несколько агрегаций.

Чтобы добавить агрегирование, щелкните символ преобразования. Затем подключите источник данных, выберите тип агрегирования, добавьте любые фильтры или измерения среза и выберите период времени, за который будет вычисляться агрегирование. В этом примере мы вычисляем сумму значений дорожных сборов по штату, откуда автомобиль, за последние 10 секунд.

Чтобы добавить еще одну агрегацию в то же преобразование, выберите "Добавить агрегатную функцию". Помните, что фильтр или срез будут применяться ко всем агрегациям в преобразовании.

Присоединиться

Используйте преобразование Join для объединения событий из двух входных данных на основе пар полей, которые вы выбрали. Если вы не выберете пару полей, соединение будет зависеть от времени по умолчанию. По умолчанию это преобразование отличается от пакетной.

Как и при регулярных соединениях, у вас есть варианты для логики соединения:

• Внутреннее соединение: включите только записи из обеих таблиц, в которых пара совпадает. В этом примере номерной знак совпадает с обоими входными данными.
• Левое внешнее соединение: включите все записи из левой (первой) таблицы и только записи из второй, которые соответствуют паре полей. Если совпадения нет, поля из второго входного ввода будут пустыми.

Чтобы выбрать тип соединения, щелкните символ предпочтительного типа на боковой панели.

Затем выберите период, в течение которого нужно вычислить соединение. В этом примере объединение учитывает последние 10 секунд. Учитывайте, что чем дольше период, тем реже будет выполняться вывод и тем больше вычислительных ресурсов вы будете использовать для преобразования.

По умолчанию все поля из обеих таблиц включены. Префиксы слева (первый узел) и справа (второй узел) в выходных данных помогают различать источник.

Группировать по

Используйте преобразование Группировка по для вычисления агрегатов для всех событий в определенном временном окне. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это похоже на трансформацию Агрегация, но предоставляет больше возможностей для агрегации. Он также включает более сложные варианты для временных интервалов. Как и при агрегировании, вы можете добавить более одной агрегации для каждого преобразования.

Агрегаты, доступные в преобразовании:

• Среднее значение
• Численность
• Максимум
• Минимум
• Процентиль (постоянный и дискретный).
• Стандартное отклонение
• Сумма
• Дисперсия

Чтобы настроить это преобразование, сделайте следующее:

1. Выберите предпочтительное агрегирование.
2. Выберите поле, в которое требуется агрегировать.
3. Выберите необязательное поле для группирования, если вам нужно выполнить агрегатное вычисление по другой размерности или категории. Например: состояние.
4. Выберите функцию для временных окон.

Чтобы добавить еще одну агрегацию в то же преобразование, выберите "Добавить агрегатную функцию". Помните, что функция группирования по полю и окне будет применяться ко всем агрегатам в преобразовании.

Метка времени окончания периода времени отображается как часть выходных данных преобразования для справки. Дополнительные сведения об оконных интервалах времени, которые поддерживают задания Stream Analytics, см. в Функциях окон (Azure Stream Analytics).

Объединение

Используйте преобразование Union для подключения двух или нескольких входных данных для добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, будут удалены и не включены в выходные данные.

Развернуть массив

Используйте преобразование "Развернуть массив" для создания новой строки для каждого значения в массиве.

Потоковая передача выходных данных

В настоящее время функция перетаскивания без кода поддерживает несколько приемников выходных данных для хранения обработанных данных в режиме реального времени.

Azure Data Lake Storage 2-го поколения

Data Lake Storage 2-го поколения использует службу хранилища Azure в качестве основы для создания корпоративных хранилищ данных в Azure. Она предназначена для обслуживания нескольких петабайтов информации при поддержании сотен гигабит пропускной способности. Это позволяет легко управлять большим объемом данных. Хранилище BLOB-объектов Azure предлагает экономичное и масштабируемое решение для хранения больших объемов неструктурированных данных в облаке.

В разделе "Выходные данные" на ленте выберите ADLS 2-го поколения в качестве выходных данных для задания Stream Analytics. Затем выберите контейнер, в котором нужно отправить выходные данные задания. Для получения дополнительных сведений о выходных данных задания Stream Analytics в Azure Data Lake 2-го поколения см. в статье Blob Storage и выходные данные Azure Data Lake 2-го поколения из Azure Stream Analytics.

При подключении к Azure Data Lake Storage Gen2, если в качестве режима аутентификации выбрано управляемое удостоверение, то роль Storage Blob Data Contributor будет предоставлена управляемому удостоверению для задания Stream Analytics. Дополнительные сведения об управляемых удостоверениях для Azure Data Lake Storage Gen2 см. в статье «Использование управляемых удостоверений для проверки подлинности задания Azure Stream Analytics для Blob Storage Azure».

Управляемые удостоверения устраняют ограничения методов проверки подлинности на основе пользователей. Эти ограничения включают необходимость повторной проверки подлинности из-за изменений паролей или истечения срока действия маркера пользователя, которые происходят каждые 90 дней.

Доставка ровно один раз (предварительная версия) поддерживается в ADLS поколения Gen2 без вывода редактора кода. Его можно включить в разделе "Режим записи" в конфигурации ADLS 2-го поколения. Дополнительные сведения об этой функции см. в статье Точное одноразовое доставление (предпросмотр) в Azure Data Lake Gen2

Поддержка записи в таблицу Delta Lake (предварительная версия) осуществляется в ADLS Gen2 без необходимости вывода через редактор кода. Этот параметр можно получить в разделе Сериализация в конфигурации ADLS 2-го поколения. Дополнительные сведения об этой функции см. в статье "Запись в таблицу Delta Lake".

Azure Synapse Analytics

Задания Azure Stream Analytics могут отправлять выходные данные в выделенную таблицу пула SQL в Azure Synapse Analytics и обрабатывать частоту пропускной способности до 200 МБ в секунду. Stream Analytics поддерживает самые требовательные задачи по аналитике в реальном времени и нужды в обработке данных для рабочих нагрузок, таких как подготовка отчетов и работа с панелями мониторинга.

Внимание

Таблица выделенного пула SQL должна существовать, прежде чем ее можно будет добавить в качестве выходных данных в задание Stream Analytics. Схема таблицы должна соответствовать полям и их типам в выходных данных задания.

В разделе "Выходные данные" на ленте выберите Synapse в качестве выходных данных для задания Stream Analytics. Затем выберите таблицу пула SQL, в которой нужно отправить выходные данные задания. Дополнительные сведения о выходных данных Azure Synapse для задания Stream Analytics см. в разделе Выходные данные Azure Synapse Analytics из Azure Stream Analytics.

Azure Cosmos DB

Azure Cosmos DB — это глобально распределенная служба баз данных, которая предлагает безграничное эластичное масштабирование по всему миру. Он также предлагает широкие возможности запросов и автоматическое индексирование по моделям данных, не зависящих от схемы.

В разделе " Выходные данные" на ленте выберите CosmosDB в качестве выходных данных для задания Stream Analytics. Дополнительные сведения о выходных данных Azure Cosmos DB для задания Stream Analytics см. в разделе выходные данные Azure Cosmos DB из Azure Stream Analytics.

При подключении к Azure Cosmos DB, если вы выбираете управляемое удостоверение в качестве режима аутентификации, то роль Contributor будет назначена управляемому удостоверению для задания Stream Analytics. Дополнительные сведения об управляемых удостоверениях для Azure Cosmos DB см. в статье "Использование управляемых удостоверений для доступа к Azure Cosmos DB из задания Azure Stream Analytics (предварительная версия)".

Метод аутентификации управляемых идентификаторов также поддерживается в выходе Azure Cosmos DB в редакторе с нулевым кодом, обладающем теми же преимуществами, что и выход данных ADLS Gen2.

База данных SQL Azure

База данных SQL Azure — это полностью управляемая платформа в виде ядра СУБД (PaaS), которая поможет вам создать высокодоступный и высокопроизводительный уровень хранения данных для приложений и решений в Azure. С помощью редактора без кода можно настроить задания Azure Stream Analytics для записи обработанных данных в существующую таблицу в База данных SQL.

Чтобы настроить База данных SQL Azure в качестве выходных данных, выберите База данных SQL в разделе "Выходные данные" на ленте. Затем введите необходимые сведения для подключения к базе данных SQL и выберите таблицу, в которую требуется записать данные.

Внимание

Таблица База данных SQL Azure должна существовать, прежде чем добавлять ее в качестве выходных данных в задание Stream Analytics. Схема таблицы должна соответствовать полям и их типам в выходных данных задания.

Для получения дополнительной информации о выходных данных из Azure SQL Database для задания Stream Analytics см. Выходные данные Azure SQL Database из Azure Stream Analytics.

Event Hubs

С помощью данных в режиме реального времени, поступающих в ASA, редактор без кода может преобразовывать, дополнять данные, а затем выводить данные в другой концентратор событий. Вы можете выбрать Event Hubs в качестве выхода при настройке задания Azure Stream Analytics.

Чтобы настроить центры событий в качестве выходных данных, выберите Концентратор событий в разделе "Выходные данные" на ленте. Затем введите необходимые сведения для подключения концентратора событий, в который требуется записать данные.

Дополнительные сведения о выходных данных Центров событий для задания Stream Analytics см. в разделе "Центры событий" из Azure Stream Analytics.

Azure Data Explorer

Azure Data Explorer — это полностью управляемая, высокопроизводительная платформа аналитики больших данных, которая упрощает анализ больших объемов данных. Azure Data Explorer можно использовать в качестве выходных данных для задания Azure Stream Analytics с помощью редактора без кода.

Чтобы настроить Azure Data Explorer в качестве выходных данных, выберите Azure Data Explorer в разделе "Выходные данные" на ленте. Затем введите необходимые сведения для подключения к базе данных Azure Data Explorer и укажите таблицу, в которую требуется записать данные.

Внимание

Таблица должна существовать в выбранной базе данных, а схема таблицы должна точно соответствовать полям и их типам в выходных данных задания.

Дополнительные сведения о выходных данных Azure Data Explorer для задания Stream Analytics см. в разделе Выходные данные Azure Data Explorer из Azure Stream Analytics (предварительная версия).

Power BI

Power BI предоставляет полный интерфейс визуализации для результата анализа данных. При отправке выходных данных Power BI в Stream Analytics обработанные потоковые данные записываются в потоковый набор данных Power BI, после чего их можно использовать для создания панели мониторинга Power BI с близким к реальному времени режимом обновления.

Чтобы настроить Power BI в качестве выхода, выберите Power BI в разделе «Выходы» на ленте. Затем введите необходимые сведения для подключения рабочей области Power BI и укажите имена для набора потоковых данных и таблицы, куда вы хотите записать данные. Дополнительные сведения о каждом поле см. в статье "Выходные данные Power BI" из Azure Stream Analytics.

Предварительный просмотр данных, ошибки разработки, журналы среды выполнения и метрики

Интерфейс перетаскивания без кода предоставляет средства, помогающие создавать, устранять неполадки и оценивать производительность конвейера аналитики для потоковой передачи данных.

Просмотр данных в реальном времени для входов

При подключении к источнику входных данных, например концентратору событий и выбору его плитки в представлении схемы ( вкладка "Предварительный просмотр данных"), вы получите динамический просмотр данных, поступающих, если все следующие значения верны:

• Выполняется отправка данных.
• Входные данные настроены правильно.
• Добавлены поля.

Как показано на следующем снимке экрана, если вы хотите просмотреть или детализировать определенные сведения, можно приостановить предварительную версию (1). Или вы можете начать его снова, если вы закончите.

Кроме того, вы можете просмотреть подробную информацию о конкретной записи (ячейка в таблице). Для этого выберите ее и щелкните элемент Показать/скрыть подробности (2). Экранная копия показывает подробное представление вложенного объекта в записи.

Статический предварительный просмотр для преобразований и выходных данных

После добавления и настройки каких-либо шагов в представлении схемы вы можете проверить их поведение. Для этого выберите элемент Get static preview (Предварительный просмотр статических данных).

После выполнения этого действия, задание Stream Analytics проверяет все преобразования и выходные данные, чтобы убедиться, что они настроены правильно. Затем в Stream Analytics отображаются результаты в окне предварительного просмотра статических данных, как показано на следующем изображении.

Вы можете обновить предварительную версию, выбрав "Обновить статическую предварительную версию " (1). При обновлении окна предварительного просмотра задание Stream Analytics принимает новые данные из входа и оценивает все преобразования. Затем он отправляет выходные данные снова с любыми обновлениями, которые вы могли выполнить. Также доступен параметр "Показать и скрыть сведения " (2).

Ошибки разработки

Если у вас есть ошибки авторинга или предупреждения, вкладка "Ошибки авторинга" покажет их, как показано на следующем снимке экрана. Список включает подробную информацию об ошибке или предупреждении, тип карты (вход, преобразование или выход), уровень ошибки и описание ошибки или предупреждения.

Журналы среды выполнения

Журналы среды выполнения отображаются на уровне предупреждений, ошибок или сведений при выполнении задания. Эти журналы полезны, если вы хотите изменить топологию заданий Stream Analytics или конфигурацию для устранения неполадок. Мы настоятельно рекомендуем включить журналы диагностики и отправить их в рабочую область Log Analytics в параметрах, чтобы получить дополнительные сведения о выполняемых заданиях для отладки.

В следующем примере снимка экрана пользователь настроил выходные данные SQL Database со схемой таблицы, которая не соответствует выходным полям задания.

Метрики

Если задание выполняется, вы можете отслеживать его работоспособность на вкладке Метрики. Четыре метрики, отображаемые по умолчанию, — задержка водяного знака, события ввода, события ввода, находящиеся в резерве, и события вывода. Эти метрики можно использовать для понимания того, выполняются ли события в задании и из него без каких-либо невыполненных операций ввода.

В списке можно выбрать дополнительные метрики. Подробные сведения о всех метриках см. в статье о метриках заданий Azure Stream Analytics.

Запуск задания Stream Analytics

Вы можете сохранить задание в любое время при его создании. После настройки входных данных потоковой передачи, преобразований и потоковых выходных данных для задания можно запустить задание.

Примечание.

Хотя редактор без кода на портале Azure Stream Analytics находится в предварительной версии, служба Azure Stream Analytics общедоступна.

Эти параметры можно настроить:

• Время начала выходных данных: при запуске задания вы выбираете время для начала создания выходных данных.
  • Теперь: этот параметр делает начальную точку потока событий вывода таким же, как и при запуске задания.
  • Настраиваемое. Можно выбрать начальную точку вывода.
  • Когда была последняя остановка: этот параметр доступен, если задание ранее было начато, но было остановлено вручную или завершилось сбоем. Если вы выбираете этот параметр, для перезапуска задания будет использоваться время последнего выполнения, так что данные не будут потеряны.
• Единицы потоковой передачи: единицы потоковой передачи (SUS) представляют объем вычислительных ресурсов и памяти, назначенных заданию во время его выполнения. Если вы не уверены, сколько SUs выбрать, мы рекомендуем начать с трех и корректировать по мере необходимости.
• Обработка ошибок выходных данных. Политики обработки ошибок выходных данных применяются только в том случае, если выходное событие, созданное заданием Stream Analytics, не соответствует схеме целевого приемника. Чтобы настроить эту политику, выберите параметр Повторить или Удалить. Дополнительные сведения см. в статье Политика обработки ошибок вывода в Azure Stream Analytics.
• Пуск. Эта кнопка запускает задание Stream Analytics.

Список заданий Stream Analytics на портале Центры событий Azure

Чтобы просмотреть список всех заданий Stream Analytics, созданных с помощью опыта без кода, основанного на перетаскивании, в портале Azure Event Hubs, выберите Обработка данных>задания Stream Analytics.

Это элементы вкладки заданий Stream Analytics:

• Фильтр. Список можно отфильтровать по имени задания.
• Обновление. В настоящее время список не обновляется автоматически. Нажмите кнопку "Обновить", чтобы обновить список и просмотреть последнее состояние.
• Имя задания: имя в этой области — это имя, которое вы указали на первом шаге создания задания. Его изменить нельзя. Выберите имя задания, чтобы открыть задание в интерфейсе перетаскивания без кода, где можно остановить задание, изменить его и снова запустить.
• Состояние: в этой области отображается состояние задания. Выберите "Обновить" в верхней части списка, чтобы просмотреть последнее состояние.
• Единицы потоковой передачи: в этой области отображается количество единиц потоковой передачи, выбранных при запуске задания.
• Выходная подложка: эта область обеспечивает индикатор активности для данных, созданных заданием. Все события до отметки времени уже вычислены.
• Мониторинг заданий: выберите "Открыть метрики" , чтобы просмотреть метрики, связанные с этим заданием Stream Analytics. Дополнительные сведения о метриках, которые можно использовать для мониторинга задания Stream Analytics, см. в разделе метрики заданий Azure Stream Analytics.
• Операции: запуск, остановка или удаление задания.

Следующие шаги

Узнайте, как использовать редактор без кода для решения распространенных сценариев с помощью стандартных шаблонов:

• Введение в Azure Stream Analytics
• Мониторинг заданий Stream Analytics с помощью портала Azure
• Общие сведения о входных данных для Azure Stream Analytics
• Выходные данные из Azure Stream Analytics