Добро пожаловать в Azure Stream Analytics

Статья
01/24/2024

Azure Stream Analytics — это полностью управляемая подсистема потоковой обработки, предназначенная для анализа и обработки больших объемов потоковых данных с задержками, составляющими доли миллисекунды. Вы можете создать конвейер потоковых данных с помощью Stream Analytics для удостоверений и связей в данных, поступающих из различных источников ввода, включая приложения, устройства, датчики, потоки щелчков и веб-каналы социальных сетей. Затем эти шаблоны можно использовать для активации действий и запуска рабочих процессов, таких как создание оповещений, передача информации в средство отчетности или хранение преобразованных данных для последующего использования. Stream Analytics также доступен в среде выполнения Azure IoT Edge, которая позволяет обрабатывать данные непосредственно с устройств Интернета вещей.

Ниже приведены несколько примеров сценариев, в которых можно использовать Azure Stream Analytics:

Обнаружение аномалий в данных датчика для обнаружения пиков, спадов и замедления положительных и отрицательных изменений
Геопространственный анализ для управления парком и транспортных средств без водителя
удаленный мониторинг и прогнозное обслуживание высокоценных ресурсов;
Аналитика посещений сайта для определения поведения клиента
Анализ потоков телеметрии и журналов в режиме реального времени от приложений и устройств Интернета вещей

Основные возможности и преимущества

Полностью управляемая служба

Azure Stream Analytics является полностью управляемым предложением (PaaS) в Azure. Вам не нужно подготавливать оборудование или инфраструктуру, обновлять ОС или программное обеспечение. Azure Stream Analytics полностью управляет заданием, чтобы вы могли сосредоточиться на бизнес-логике, а не инфраструктуре.

Простота использования

Приступить к работе с Azure Stream Analytics несложно. Для создания сквозного конвейера потоковых данных, который подключается к нескольким источникам и приемникам, требуется всего несколько щелчков.

Вы можете создать задание Stream Analytics, которое может подключаться к Центры событий Azure и Центр Интернета вещей Azure для приема потоковых данных, а также хранилища BLOB-объектов Azure или Azure Data Lake Storage 2-го поколения для приема исторических данных. Входные данные для задания Stream Analytics также могут включать статические или медленные ссылочные данные из хранилища BLOB-объектов Azure или База данных SQL, которые можно присоединить к потоковым данным для выполнения операций подстановки. Дополнительные сведения о входных данных Stream Analytics см. в разделе Stream Data as input в Stream Analytics.

Вы можете направлять выходные данные из задания Stream Analytics во многие системы хранения, такие как хранилище BLOB-объектов Azure, База данных SQL Azure, Azure Data Lake Store и Azure Cosmos DB. Вы также можете выполнять пакетную аналитику с использованием выходных потоковых данных с помощью Azure Synapse Analytics или HDInsight или направлять выходные данные в другую службу, например в Центры событий для потребления или в Power BI для визуализации в режиме реального времени. Полный список выходных данных Stream Analytics см. в статье "Общие сведения о выходных данных из Azure Stream Analytics".

Редактор без кода Azure Stream Analytics предлагает интерфейс без кода, позволяющий легко разрабатывать задания Stream Analytics, используя функции перетаскивания без необходимости писать код. Кроме того, он упрощает разработку заданий Stream Analytics. Дополнительные сведения о редакторе без кода см. в разделе "Обработка потока без кода" в Azure Stream Analytics.

Производительность работы программиста

Azure Stream Analytics использует язык запросов SQL, дополненный мощными временными ограничениями для анализа данных в движении. Задание Stream Analytics можно создать с помощью портал Azure. Вы также можете создавать задания с помощью таких средств разработчика, как следующие:

Средства разработчика позволяет разрабатывать запросы преобразования в автономном режиме и использовать конвейер CI/CD для отправки заданий в Azure.

Язык запросов Stream Analytics позволяет выполнять сложную обработку событий (CEP), предлагая широкий спектр функций для анализа потоковых данных. Этот язык запросов поддерживает простые функции обработки данных, агрегирование и аналитику, геопространственные функции, сопоставление шаблонов и обнаружение аномалий. Вы можете редактировать запросы на портале или использовать средства разработки, а также тестировать их с помощью примеров данных, извлеченных из динамического потока.

Вы можете расширить возможности языка запросов. Для этого нужно определить или вызвать дополнительные функции. Вызовы функций можно определить в Машинном обучении Azure, чтобы воспользоваться преимуществами решений этой службы и интегрировать определяемые пользователем функции или статистические выражения JavaScript или C# для выполнения сложных вычислений в рамках запроса Stream Analytics.

Выполнение в облаке или на интеллектуальной границе

Azure Stream Analytics можно запускать в облаке для крупномасштабной аналитики или в IoT Edge или Azure Stack для аналитики со сверхмалой задержкой. Azure Stream Analytics использует одинаковые инструменты и язык запросов в облаке и пограничной среде, что позволяет разработчикам создавать по-настоящему гибридные архитектуры для обработки потоков.

Низкая совокупная стоимость владения

Облачная служба Stream Analytics оптимизирована для затрат. Первоначальные затраты отсутствуют. Вы платите только за использованные единицы потоковой передачи. Нет необходимых обязательств или подготовки кластера, и вы можете увеличить или уменьшить масштаб задания в зависимости от потребностей вашего бизнеса.

Критически важная доступность

Служба Azure Stream Analytics доступна в нескольких регионах по всему миру и предназначена для запуска критически важных рабочих нагрузок, обеспечивая надежность, безопасность и соответствие требованиям.

Надежность

Azure Stream Analytics гарантирует обработку событий только один раз и по крайней мере одну доставку событий, обеспечивая их сохранность. Точно один раз обработка гарантируется выбранными выходными данными, как описано в разделе "Гарантии доставки событий".

Azure Stream Analytics имеет встроенные возможности восстановления в случае сбоя доставки события. Stream Analytics также предоставляет встроенные контрольные точки для сохранения состояния заданий и обеспечивает воспроизводимые результаты.

Являясь управляемой службой, Stream Analytics гарантирует доступность 99,9 % для обработки событий с ежеминутной степенью детализации.

Безопасность

С точки зрения безопасности Azure Stream Analytics шифрует все входящие и исходящие сообщения и поддерживает протокол TLS 1.2. Встроенные контрольные точки также шифруются. Stream Analytics не хранит входящие данные, так как все задачи обработки выполняются в памяти. Stream Analytics также поддерживает виртуальная сеть Azure при выполнении задания в кластере Stream Analytics.

Производительность

Stream Analytics может обрабатывать миллионы событий в секунду и предоставлять результаты со сверхнизкой задержкой. Служба поддерживает горизонтальное масштабирование для адаптации к вашим рабочим нагрузкам. Stream Analytics поддерживает высокую производительность за счет секционирования, что позволяет выполнить распараллеливание и обработку сложных запросов на нескольких узлах потоковой передачи. Azure Stream Analytics создан на основе Trill. Эта служба является высокопроизводительным аналитическим модулем потоковой передачи, выполняемой в памяти, который разработан в сотрудничестве с Microsoft Research.

Следующие шаги

Вы можете опробовать Azure Stream Analytics через бесплатную подписку на Azure.

Опробовать Azure Stream Analytics

Вы можете получить общие сведения об Azure Stream Analytics. Теперь вы можете вникнуть в детали и создать свое первое задание Stream Analytics: