Разработка решения Azure Stream Analytics для анализа данных
Процесс использования потоков данных, их анализа и получения практических аналитических сведений называется потоковой обработкой. Azure Stream Analytics является полностью управляемым (предложением PaaS), аналитикой в режиме реального времени и сложным механизмом обработки событий. Она предоставляет возможность выполнять аналитику в режиме реального времени в нескольких потоках данных из таких источников, как данные устройства Интернета вещей, датчики, потоки щелчков и веб-каналы социальных сетей.
Сведения о Azure Stream Analytics
Azure Stream Analytics работает над следующими понятиями:
Потоки данных: потоки данных являются непрерывными данными, созданными приложениями, устройствами Интернета вещей или датчиками. Потоки данных анализируются и извлекаются полезные сведения. Ниже приведены примеры мониторинга потоков данных от промышленного и производственного оборудования и мониторинга данных трубопровода воды поставщиками служебных услуг. Потоки данных помогают нам понять изменения с течением времени.
Обработка событий: обработка событий относится к использованию и анализу непрерывного потока данных для извлечения полезных сведений из событий, происходящих в этом потоке. Примером является то, как автомобиль, проходящий через tollbooth, должен включать темпоральную информацию, например метку времени, которая указывает, когда произошло событие.
Внимание
Azure Stream Analytics поддерживает обработку событий в трех форматах данных: CSV, JSON и Avro.
На следующем рисунке показан конвейер Stream Analytics и способ приема, анализа и отправки данных для презентации или действия.
Ключевые функции
Stream Analytics обрабатывает данные из Центры событий Azure (включая Центры событий Azure из Apache Kafka), Центр Интернета вещей Azure или Хранилище BLOB-объектов Azure. Запрос, основанный на языке запросов SQL, можно использовать для простых фильтрования, сортировки, агрегирования и объединения потоковых данных за определенный период времени.
Задание Azure Stream Analytics состоит из входных, запросов и выходных данных. Вы можете выполнить следующие задачи на основе выходных данных задания:
- Маршрутизация данных в системы хранения, такие как Хранилище BLOB-объектов Azure, База данных SQL Azure, Azure Data Lake Store и Azure Cosmos DB.
- Отправка данных в Power BI для визуализации в режиме реального времени.
- Храните данные в службе Data Warehouse, например Azure Synapse Analytics для обучения модели машинного обучения на основе исторических данных или пакетной аналитики.
- Активируйте пользовательские подчиненные рабочие процессы, отправляя данные в службы, такие как Функции Azure, топики Служебная шина Azure или очереди Azure.
Бизнес-сценарий
Tailwind Traders использует цифровое преобразование для своих приложений и служб, чтобы помочь в росте компании. Им необходимо поддерживать доступ, хранение и анализ данных с датчиков GPS на своих грузовиках, которые находятся в пути доставки. Вы ищете решение для предоставления аналитики в режиме реального времени по данным GPS потоковой передачи от грузовиков, чтобы администраторы могли принимать решения в режиме реального времени. На дальнейшем анализе вы узнаете, что команда хотела бы, чтобы эти данные присутствовали на существующей панели мониторинга визуализации Power BI. Azure Stream Analytics может помочь выполнить требования этого сценария.
Azure Stream Analytics — идеальное решение для других распространенных корпоративных требований к данным. Рассмотрим следующие сценарии.
| Требование | Описание |
|---|---|
| Анализ потоков телеметрии в режиме реального времени с устройств Интернета вещей. | Соберите данные датчиков в реальном времени в Azure Stream Analytics, создавая системы автоматизации, которые передают данные о температуре, влажности и времени работы вентилятора. Вы можете внести корректировки для поддержания оптимальной температуры здания и снижения затрат. |
| Создание веб-журналов и аналитика кликстрима. | Розничный продавец потребительских товаров может предлагать пользователям продукты в режиме реального времени на основе аналитики электронной коммерции. |
| Создание геопространственной аналитики. | Подготовьте аналитику для геопространственных источников данных, таких как датчики, социальные медиа, спутниковые изображения и мобильные устройства. Вы можете предсказать экстремальные погодные события, такие как лесные пожары и ураганы, чтобы помочь авиакомпаниям с маршрутизацией. Вы можете отправлять мобильные оповещения клиентам для неблагоприятных погодных условий на основе их географического расположения. |
| Выполнение удаленного мониторинга и прогнозного обслуживания ресурсов с высоким уровнем стоимости. | Отслеживайте высокоценные активы, такие как промышленное оборудование, собирая операционные данные в Azure Stream Analytics. Вы можете максимизировать полезную жизнь оборудования с помощью прогнозного обслуживания. |
| Выполните аналитику в режиме реального времени для данных о точке продажи. | Обнаружение мошеннических транзакций кредитной карты и выявление подозрительных действий в точке продажи. Вы можете обнаружить необычно крупные транзакции или необычную активность в местоположении, исходя из контактной информации владельца кредитной карты. Триггеры оповещений можно настроить для данных, собранных в Azure Stream Analytics. |
В сценарии Tailwind Traders мы можем применить Azure Stream Analytics для визуализации расположений грузовиков в режиме реального времени через Power BI. Для решений по управлению аналитическими рабочими нагрузками данные можно хранить в хранилище данных, например Azure Cosmos DB или Azure Data Lake для дальнейшего анализа.
Что следует учитывать при использовании Azure Stream Analytics
Azure Stream Analytics может быть ценным компонентом в плане интеграции данных для Tailwind Traders. Ознакомьтесь со следующими преимуществами службы.
Рассмотрите требования к обеспечению. Azure Stream Analytics — это полностью управляемая служба. Оно предлагается в качестве предложения PaaS (платформа как услуга), поэтому нет дополнительных затрат на подготовку оборудования или инфраструктуры. Azure Stream Analytics полностью управляет своим заданием, поэтому вы можете сосредоточиться на бизнес-логике, а не на инфраструктуре.
Рассмотрим затраты. Stream Analytics - это недорогой сервис. Выставление счетов производится на основе потребляемых единиц потоковой передачи (SU), которые обозначают объем выделенных ресурсов ЦП и памяти. Масштабирование вверх и вниз основано на бизнес-потребностях, которые также могут снизить затраты. Плата за обслуживание не взимается.
Рассмотрим реализацию. Вы можете запускать Azure Stream Analytics в облаке для крупномасштабной аналитики. Для аналитики с низкой задержкой запустите Stream Analytics в IoT Edge или Azure Stack.
Рассмотрим производительность. Stream Analytics предлагает надежные гарантии производительности. Она поддерживает более высокую производительность путем секционирования, что позволяет выполнять сложные запросы параллельно и выполняться на нескольких узлах потоковой передачи. Stream Analytics может обрабатывать миллионы событий каждую секунду. Он может обеспечить результаты с ультра-низкими задержками.
Рассмотрим безопасность. Stream Analytics шифрует все входящие и исходящие сообщения и поддерживает TLS 1.2. Встроенные контрольные точки также шифруются. Stream Analytics не сохраняет входящие данные, так как все обработка выполняется в памяти.
Рассмотрим редактор без кода. Для команд, предпочитающих визуальный подход drag-and-drop, который дополняет язык запросов SQL для различных уровней навыков.