Editar

Análisis de IoT con Azure Data Explorer

Azure Cosmos DB
Explorador de datos de Azure
Azure Digital Twins

Ideas de solución

Este artículo es una idea de solución. Si te gustaría que ampliemos este artículo con más información, como posibles casos de uso, servicios alternativos, consideraciones de implementación o una guía de precios, comunícalo a través de los Comentarios de GitHub.

En esta idea de solución se describe cómo Azure Data Explorer proporciona análisis casi en tiempo real para flujos de datos de streaming rápidos y de gran volumen procedentes de dispositivos y sensores de Internet de las cosas (IoT). Este flujo de trabajo de análisis forma parte de una solución de IoT general que integra cargas de trabajo operativas y analíticas con Azure Cosmos DB y Azure Data Explorer.

Jupyter es una marca comercial de su empresa respectiva. El uso de esta marca no implica ninguna aprobación. Apache® y Apache Kafka® son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en Estados Unidos u otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Architecture

Diagrama que muestra el análisis de telemetría de IoT con Azure Data Explorer.

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

  1. Azure Event Hubs, Azure IoT Hub o Kafka ingieren una amplia variedad de datos de streaming de flujo rápido, como registros, eventos empresariales y actividades de usuarios.

  2. Azure Functions o Azure Stream Analytics procesan los datos casi en tiempo real.

  3. Azure Cosmos DB almacena los mensajes transmitidos en formato JSON para servir a una aplicación operativa en tiempo real.

  4. Azure Data Explorer ingiere datos de análisis, usando sus conectores de Azure Event Hubs, Azure IoT Hub o Kafka para reducir la latencia y aumentar el rendimiento.

    Como alternativa, puede ingerir blobs de su cuenta de Azure Blob Storage o Azure Data Lake Storage en Azure Data Explorer mediante una conexión de datos de Event Grid.

    También puede exportar datos continuamente a Azure Storage en formato de Apache Parquet comprimido y con particiones, y consultar íntegramente los datos con Azure Data Explorer. Para más información, consulte Introducción a la exportación de datos continua.

  5. Para que sirvan a los casos de uso analítico y operativo, los datos se pueden enrutar a Azure Data Explorer y Azure Cosmos DB en paralelo, o de Azure Cosmos DB a Azure Data Explorer.

    • Las transacciones de Azure Cosmos DB pueden desencadenar Azure Functions a través de la fuente de cambios. Functions transmitirá datos a Event Hubs para la ingesta en Azure Data Explorer.

      o

    • Azure Functions puede invocar Azure Digital Twins mediante su API, que luego transmite datos a Event Hubs para la ingesta en Azure Data Explorer.

  6. Las interfaces siguientes extraen información de los datos almacenados en Azure Data Explorer:

  7. Azure Data Explorer se integra con Azure Databricks y Azure Machine Learning para proporcionar servicios de aprendizaje automático (ML). También puede crear modelos con otras herramientas y servicios y exportarlos a Azure Data Explorer para puntuar los datos.

Componentes

Esta idea de solución usa los siguientes componentes de Azure:

Explorador de datos de Azure

Azure Data Explorer es un servicio de análisis de macrodatos rápido, totalmente administrado y muy escalable. Azure Data Explorer puede analizar grandes volúmenes de datos de streaming procedentes de aplicaciones, sitios web y dispositivos IoT casi en tiempo real para proveer a aplicaciones y paneles de análisis.

Azure Data Explorer proporciona análisis avanzado nativo para:

La interfaz de usuario web de Azure Data Explorer se conecta a clústeres de Azure Data Explorer para ayudar a escribir, ejecutar y compartir comandos y consultas de Lenguaje de consulta Kusto. Los paneles de Azure Data Explorer son una característica de la interfaz de usuario web de Data Explorer que exporta de forma nativa consultas de Kusto a paneles optimizados.

Otros componentes de Azure

  • Azure Cosmos DB es un servicio de base de datos NoSQL rápido y totalmente administrado para el desarrollo de aplicaciones modernas con API abiertas para cualquier escala.
  • Azure Digital Twins almacena modelos digitales de entornos físicos para ayudar a crear soluciones de IoT de próxima generación que modelan el mundo real.
  • Azure Event Hubs es un servicio de ingesta de datos en tiempo real y totalmente administrado.
  • Azure IoT Hub permite la comunicación bidireccional entre los dispositivos IoT y la nube de Azure.
  • Azure Synapse Link para Azure Cosmos DB ejecuta análisis casi en tiempo real sobre los datos operativos de Azure Cosmos DB, sin efectos de costo y rendimiento en las cargas de trabajo transaccionales. Synapse Link usa los motores de análisis de SQL sin servidor y grupos de Spark del área de trabajo de Azure Synapse.
  • Kafka en HDInsight es un servicio sencillo, rentable y de categoría empresarial para el análisis de código abierto con Apache Kafka.

Detalles del escenario

Esta solución usa Azure Data Explorer para obtener un análisis casi en tiempo real de telemetría de IoT de un gran volumen de datos de streaming que fluye a gran velocidad desde una amplia gama de dispositivos IoT.

Posibles casos de uso

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

Pasos siguientes