Modifier

Partager via

Analytique IoT avec Azure Data Explorer

Azure Cosmos DB
Explorateur de données Azure
Azure Digital Twins

Idées de solution

Cet article présente une idée de solution. Votre architecte cloud peut s’appuyer sur ces conseils pour visualiser les principaux composants d’une implémentation typique de cette architecture. Utilisez cet article comme point de départ pour concevoir une solution bien conçue qui répond aux exigences spécifiques de votre charge de travail.

Cette idée de solution décrit comment Azure Data Explorer fournit des analyses en quasi temps réel pour un large volume de données de diffusion en continu rapides à partir d’appareils et de capteurs IoT (Internet of Things). Ce flux de travail d’analytique fait partie d’une solution IoT globale qui intègre des charges de travail opérationnelles et analytiques avec Azure Cosmos DB et Azure Data Explorer.

Jupyter est une marque appartenant à la société à laquelle elle est associée. L’utilisation de cette marque n’implique aucune approbation de sa part. Apache® et Apache Kafka® sont des marques déposées ou des marques commerciales de l’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Diagramme montrant l’analytique de télémétrie IoT avec Azure Data Explorer.

Téléchargez un fichier Visio de cette architecture.

Dataflow

  1. Azure Event Hubs, Azure IoT Hub ou Kafka ingère un large éventail de données de diffusion en continu rapides telles que les journaux, les événements commerciaux et les activités utilisateur.

  2. Azure Functions ou Azure Stream Analytics traitent les données en quasi temps réel.

  3. Azure Cosmos DB stocke les messages diffusés en continu au format JSON pour servir une application opérationnelle en temps réel.

  4. Azure Data Explorer ingère des données pour l’analytique, en utilisant ses connecteurs pour Azure Event Hubs, Azure IoT Hub ou Kafka pour une faible latence et un débit élevé.

    Vous pouvez également ingérer des objets blob à partir de votre compte de Stockage Blob Azure ou Azure Data Lake Storage dans Azure Data Explorer à l’aide d’une connexion de données Event Grid.

    Vous pouvez également exporter en continu des données vers stockage Azure au format Apache Parquet compressé, partitionné et interroger en toute transparence les données avec Azure Data Explorer. Pour plus d’informations, consultez Vue d’ensemble de l’exportation de données continue.

  5. Pour servir à la fois à des cas d’usage opérationnels et analytiques, les données peuvent être acheminées vers Azure Data Explorer et Azure Cosmos DB en parallèle, ou bien d’Azure Cosmos DB vers Azure Data Explorer.

    • Les transactions Azure Cosmos DB peuvent déclencher des Azure Functions via un flux de modification. Functions diffusera des données vers Event Hubs pour l’ingestion dans Azure Data Explorer.

      -ou-

    • Azure Functions peut appeler Azure Digital Twins via son API, qui transmet ensuite des données à Event Hubs pour l’ingestion dans Azure Data Explorer.

  6. Les interfaces suivantes obtiennent des insights à partir de données stockées dans Azure Data Explorer :

  7. Azure Data Explorer s’intègre à Azure Databricks et Azure Machine Learning pour fournir des services Machine Learning (ML). Vous pouvez créer des modèles à l’aide d’autres outils et services et exporter des modèles ML vers Azure Data Explorer pour le scoring des données.

Composants

Cette solution utilise les composants Azure suivants :

Explorateur de données Azure

Azure Data Explorer est un service d’analytique des données Big data rapide, entièrement managé et hautement évolutif. Azure Data Explorer peut analyser de grands volumes de données de diffusion en continu à partir d’applications, de sites web et d’appareils IoT en quasi-temps réel pour servir des applications et des tableaux de bord d’analyse.

Azure Data Explorer fournit une analytique avancée native pour :

L’interface utilisateur web Azure Data Explorer se connecte aux clusters Azure Data Explorer pour vous aider à écrire, exécuter et partager des commandes et des requêtes Kusto Query Language. Les tableaux de bord azure Data Explorer sont une fonctionnalité de l’interface utilisateur web Data Explorer qui exporte en mode natif des requêtes Kusto vers des tableaux de bord optimisés.

Autres composants Azure

  • Azure Cosmos DB est un service de base de données NoSQL rapide complètement managé pour le développement d’applications modernes avec des API ouvertes à toutes les échelles.
  • Azure Digital Twins stocke des modèles numériques d’environnements physiques, pour aider à créer des solutions IoT de nouvelle génération qui modélisent le monde réel.
  • Azure Event Hubs est un service d’ingestion de données en temps réel complètement managé.
  • Azure IoT Hub active la communication bidirectionnelle entre les appareils IoT et lr cloud Azure.
  • Azure Synapse Link pour Azure Cosmos DB exécute des analyses en temps quasi-réel sur les données opérationnelles Azure Cosmos DB, sans aucun impact sur les performances ou le coût des charges de travail transactionnelles. Synapse Link utilise les deux moteurs d’analyse de l’espace de travail Azure Synapse : SQL serverless et Spark Pools.
  • Kafka sur HDInsightest un service facile, économique, à l’échelle de l’entreprise pour l’analyse open source avec Apache Kafka.

Détails du scénario

Cette solution utilise Azure Data Explorer pour l’analytique de la télémétrie IoT en quasi-temps réel sur des données de streaming à fort débit et à volume élevé provenant d’une grande variété d’appareils IoT.

Cas d’usage potentiels

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

Étapes suivantes