Streaming des données avec AKS

App Service
Gestion des API
Container Registry
Cache pour Redis
Cosmos DB

Idées de solution

Cet article présente une idée de solution. Si vous souhaitez que nous développions le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, adressez-nous vos commentaires GitHub.

Cet article présente une solution pour traiter et analyser rapidement un grand volume de données de streaming à partir d’appareils avec Azure Kubernetes Service (AKS).

Apache®, Apache Kafka et Apache Spark sont soit des marques déposées, soit des marques commerciales d’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Diagramme d’architecture montrant comment les données de streaming en provenance d’appareils sont ingérées, traitées et analysées.Télécharger une animation SVG de cette architecture.

Dataflow

  1. Les capteurs génèrent des données et les transmettent à Gestion des API Azure.
  2. Un cluster AKS exécute les microservices déployés sous forme de conteneurs derrière un maillage de service. Les conteneurs sont créés à l’aide d’un processus DevOps et stockés dans Azure Container Registry.
  3. Un service d’ingestion stocke les données dans Azure Cosmos DB.
  4. Un service d’analyse reçoit les données de manière asynchrone et les transmet à Apache Kafka et Azure HDInsight.
  5. Les scientifiques des données utilisent des modèles Machine Learning et la plateforme Splunk pour analyser les données.
  6. Un service de traitement traite les données et stocke les résultats dans Azure Database pour PostgreSQL. Le service met aussi en cache les données dans Azure Cache pour Redis.
  7. Une application web qui s’exécute dans Azure App Service crée des visualisations des résultats.

Components

La solution utilise les technologies clés suivantes :

Détails du scénario

Cette solution est parfaitement adaptée à un scénario qui implique des millions de points de données, avec des sources de données qui englobent des capteurs, des véhicules et des appareils IoT (Internet des objets). En pareille situation, le traitement du grand volume de données est une gageure. L’analyse rapide des données est une autre tâche exigeante, car les organisations cherchent à obtenir des insights dans des scénarios complexes.

Les microservices conteneurisés dans AKS constituent un élément clé de la solution. Ces services autonomes ingèrent et traitent le flux de données en temps réel. Ils se mettent aussi à l’échelle en fonction des besoins. Du fait de la portabilité des conteneurs, les services peuvent s’exécuter dans différents environnements et traiter des données issues de plusieurs sources. Pour développer et déployer les microservices, DevOps et l’intégration/livraison continues (CI/CD) sont utilisés. Ces approches raccourcissent le cycle de développement.

Pour stocker les données ingérées, la solution utilise Azure Cosmos DB. Cette base de données met à l’échelle le débit et le stockage de manière élastique, ce qui en fait un bon choix pour les gros volumes de données.

La solution utilise également Kafka. Cette plateforme de streaming à faible latence gère les flux de données en temps réel à des vitesses extrêmement élevées.

HDInsight est un autre composant clé de la solution, qui est un service d’analytique cloud open source et managé. HDInsight simplifie l’exécution à grand volume et à grande vélocité des infrastructures Big Data tout en utilisant Apache Spark dans Azure. Splunk facilite le processus d’analyse de données. Cette plateforme crée des visualisations à partir de données en temps réel et procure des fonctionnalités de business intelligence.

Cas d’usage potentiels

Cette solution profite aux domaines suivants :

  • Sécurité des véhicules, en particulier dans le secteur automobile
  • Service client dans la vente au détail et d’autres secteurs d’activité
  • Solutions cloud de soins de santé
  • Solutions de technologies financières (dans le secteur financier)

Étapes suivantes

Documentation du produit :

Modules de formation Microsoft :