Diseñar una solución de Azure Stream Analytics para el análisis de datos
El proceso de consumir flujos de datos, analizarlos y derivar información procesable se denomina procesamiento de flujos. Azure Stream Analytics es un motor de procesamiento de eventos complejos y de análisis en tiempo real totalmente administrado (oferta de PaaS). Ofrece la posibilidad de realizar análisis en tiempo real de varios flujos de datos procedentes de orígenes como datos de dispositivos IoT, sensores, secuencias de clics y fuentes de redes sociales.
Aspectos que debe saber sobre Azure Stream Analytics
Azure Stream Analytics sirve para los siguientes conceptos:
- Flujos de datos: los flujos de datos son datos continuos generados por aplicaciones, dispositivos IoT o sensores. Los flujos de datos se analizan y se extrae información útil. Algunos ejemplos son la supervisión de flujos de datos de equipos industriales y de fabricación y la supervisión de los datos de canalización de agua por parte de proveedores de servicios públicos. Los flujos de datos ayudan a comprender el cambio con el tiempo.
- Procesamiento de eventos: hace referencia al consumo y análisis de un flujo de datos continuo para extraer información útil de los eventos que se producen dentro del flujo. Un ejemplo es un automóvil que pasa a través de una cabina de peaje, que debe incluir información temporal, como una marca de tiempo que indica cuándo se produjo el evento.
Importante
Azure Stream Analytics admite eventos de procesamiento en tres formatos de datos: CSV, JSON y Avro.
La ilustración siguiente muestra la canalización de Stream Analytics y cómo se ingieren y analizan los datos y cómo se envían después para su presentación o acción.
Principales características
Stream Analytics ingiere datos de Azure Event Hubs (incluido Azure Event Hubs de Apache Kafka), Azure IoT Hub o Azure Blob Storage. La consulta, que se basa en el lenguaje de consulta SQL, se puede usar para filtrar, ordenar, agregar y unir datos de streaming fácilmente durante un período. También puede ampliar este lenguaje SQL con funciones definidas por el usuario (UDF) de C# y JavaScript.
Un trabajo de Azure Stream Analytics consta de una entrada, una consulta y una salida. Puede hacer las tareas siguientes con la salida del trabajo:
- Enrutar los datos a sistemas de almacenamiento, como Azure Blob Storage, Azure SQL Database, Azure Data Lake Store y Azure Cosmos DB.
- Enviar datos a Power BI para la visualización en tiempo real.
- Almacenar datos en un servicio de Data Warehouse, como Azure Synapse Analytics, para entrenar un modelo de aprendizaje automático basado en datos históricos o realizar análisis por lotes.
- Desencadenar flujos de trabajo de bajada personalizados mediante el envío de los datos a servicios como Azure Functions, temas de Azure Service Bus o colas de Azure.
Escenario empresarial
Tailwind Traders, usa la transformación digital de sus aplicaciones y servicios para impulsar el crecimiento de la empresa. Necesitan admitir el acceso, almacenamiento y análisis de los datos del sensor desde el GPS de los camiones de reparto que están en carretera entregando la mercancía. Está buscando una solución para proporcionar análisis en tiempo real de los datos de streaming de GPS de los camiones para permitir a los administradores tomar decisiones en tiempo real. En un análisis posterior, aprenderá que al equipo le gustaría que estos datos se encuentren en un panel de visualización de Power BI existente. Azure Stream Analytics puede ayudar a cumplir los requisitos de este escenario.
Azure Stream Analytics es una solución ideal para otros requisitos comunes de datos empresariales. Considere los siguientes escenarios:
| Requisito | Descripción |
|---|---|
| Análisis de los flujos de telemetría en tiempo real desde dispositivos IoT. | Recopile datos del sensor en tiempo real en Azure Stream Analytics mediante la creación de sistemas de automatización que retransmitan la temperatura, la humedad y los entornos de ejecución del ventilador. Puede realizar ajustes para mantener la temperatura óptima del edificio y reducir los costos. |
| Creación de registros web y análisis de secuencias de clics. | Un minorista de bienes de consumo puede ofrecer sugerencias de productos en tiempo real a los usuarios en función del análisis de comercio electrónico. |
| Creación de análisis geoespaciales. | Prepare análisis de orígenes de datos geoespaciales, como sensores, redes sociales, imágenes satélite y dispositivos móviles. Puede predecir eventos meteorológicos extremos, como incendios forestales y huracanes, para ayudar a las aerolíneas en sus planificaciones de rutas. Puede enviar alertas móviles a los clientes para detectar condiciones meteorológicas adversas en función de su geolocalización. |
| Ejecución remota y mantenimiento predictivo de activos de gran valor. | Supervise activos de alto valor, como equipos industriales, mediante la recopilación de datos operativos en Azure Stream Analytics. Puede maximizar la vida útil de su equipo a través del mantenimiento predictivo. Los datos recopilados desde transformadores de energía eléctrica pueden ser utilizados por empresas de servicios públicos para evitar la interrupción del funcionamiento. |
| Análisis en tiempo real de datos de puntos de venta. | Detecte transacciones fraudulentas de tarjetas de crédito e identifique la actividad sospechosa en el punto de venta. Puede detectar transacciones inusualmente elevadas o actividad en alguna ubicación inusual en función de la información de contacto del titular de la tarjeta de crédito. Los desencadenadores de alertas se pueden configurar para los datos recopilados en Azure Stream Analytics. |
En el escenario de Tailwind Traders, podemos aplicar Azure Stream Analytics para visualizar ubicaciones en tiempo real de los camiones mediante Power BI. Para las decisiones de administración sobre las cargas de trabajo analíticas, los datos se pueden guardar en un almacenamiento de datos, como Azure Cosmos DB o Azure Data Lake, para su futuro análisis.
Aspectos que se deben tener en cuenta al usar Azure Stream Analytics
Azure Stream Analytics puede ser un componente valioso en el plan de integración de datos para Tailwind Traders. Revise las siguientes ventajas del servicio.
- Considere los posibles requisitos de aprovisionamiento. Azure Stream Analytics es un servicio completamente administrado. Se ofrece como una oferta de plataforma como servicio (PaaS), por lo que no hay ninguna sobrecarga de aprovisionamiento en el hardware o la infraestructura. Azure Stream Analytics administra por completo el trabajo para que pueda centrarse en la lógica de negocios y no en la infraestructura.
- Considere los costos. Stream Analytics es de bajo costo. La facturación se realiza mediante unidades de streaming (SU) consumidas que representan la cantidad de recursos de CPU y memoria asignados. El escalado y la reducción verticales se basan en las necesidades empresariales, lo que también puede reducir los costos. No se aplican cargos por mantenimiento.
- Considere la implementación. Puede ejecutar Azure Stream Analytics en la nube para análisis a gran escala. Para el análisis de latencia extremadamente baja, ejecute Stream Analytics en IoT Edge o Azure Stack.
- Considere el rendimiento. Stream Analytics ofrece garantías de rendimiento confiables. Admite un mayor rendimiento mediante la creación de particiones, lo cual permite paralelizar y ejecutar consultas complejas en varios nodos de streaming. Stream Analytics puede procesar millones de eventos cada segundo. Puede proporcionar resultados con latencias extremadamente bajas.
- Consideración de la seguridad. Stream Analytics cifra todas las comunicaciones entrantes y salientes y es compatible con TLS 1.2. También se cifran los puntos de control integrados. Stream Analytics no almacena los datos entrantes, ya que todo el procesamiento se realiza en memoria.