Idées de solution
Cet article présente une idée de solution. Si vous souhaitez que nous développions le contenu avec d’autres informations, telles que des cas d’usage potentiels, d’autres services, des considérations d’implémentation ou un guide des prix, adressez-nous vos commentaires GitHub.
Cet article présente une solution pour traiter et analyser rapidement un grand volume de données de streaming à partir d’appareils avec Azure Kubernetes Service (AKS).
Apache®, Apache Kafka et Apache Spark sont soit des marques déposées, soit des marques commerciales d’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.
Architecture
Téléchargez un fichier Visio de cette architecture.
Dataflow
- Les capteurs génèrent des données et les transmettent à Gestion des API Azure.
- Un cluster AKS exécute les microservices déployés sous forme de conteneurs derrière un maillage de service. Les conteneurs sont créés à l’aide d’un processus DevOps et stockés dans Azure Container Registry.
- Un service d’ingestion stocke les données dans Azure Cosmos DB.
- Un service d’analyse reçoit les données de manière asynchrone et les transmet à Apache Kafka et Azure HDInsight.
- Les scientifiques des données utilisent des modèles Machine Learning et la plateforme Splunk pour analyser les données.
- Un service de traitement traite les données et stocke les résultats dans Azure Database pour PostgreSQL. Le service met aussi en cache les données dans Azure Cache pour Redis.
- Une application web qui s’exécute dans Azure App Service crée des visualisations des résultats.
Components
La solution utilise les technologies clés suivantes :
- Gestion des API
- App Service
- Cache Azure pour Redis
- Container Registry
- Azure Cosmos DB
- Base de données Azure pour PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Détails du scénario
Cette solution est parfaitement adaptée à un scénario qui implique des millions de points de données, avec des sources de données qui englobent des capteurs, des véhicules et des appareils IoT (Internet des objets). En pareille situation, le traitement du grand volume de données est une gageure. L’analyse rapide des données est une autre tâche exigeante, car les organisations cherchent à obtenir des insights dans des scénarios complexes.
Les microservices conteneurisés dans AKS constituent un élément clé de la solution. Ces services autonomes ingèrent et traitent le flux de données en temps réel. Ils se mettent aussi à l’échelle en fonction des besoins. Du fait de la portabilité des conteneurs, les services peuvent s’exécuter dans différents environnements et traiter des données issues de plusieurs sources. Pour développer et déployer les microservices, DevOps et l’intégration/livraison continues (CI/CD) sont utilisés. Ces approches raccourcissent le cycle de développement.
Pour stocker les données ingérées, la solution utilise Azure Cosmos DB. Cette base de données met à l’échelle le débit et le stockage de manière élastique, ce qui en fait un bon choix pour les gros volumes de données.
La solution utilise également Kafka. Cette plateforme de streaming à faible latence gère les flux de données en temps réel à des vitesses extrêmement élevées.
HDInsight est un autre composant clé de la solution, qui est un service d’analytique cloud open source et managé. HDInsight simplifie l’exécution à grand volume et à grande vélocité des infrastructures Big Data tout en utilisant Apache Spark dans Azure. Splunk facilite le processus d’analyse de données. Cette plateforme crée des visualisations à partir de données en temps réel et procure des fonctionnalités de business intelligence.
Cas d’usage potentiels
Cette solution profite aux domaines suivants :
- Sécurité des véhicules, en particulier dans le secteur automobile
- Service client dans la vente au détail et d’autres secteurs d’activité
- Solutions cloud de soins de santé
- Solutions de technologies financières (dans le secteur financier)
Étapes suivantes
Documentation du produit :
- À propos du cache Azure pour Redis
- Qu’est-ce que Gestion des API Azure ?
- Vue d'ensemble d'App Service
- Azure Kubernetes Service
- Présentation des registres de conteneurs Docker privés dans Azure
- Bienvenue dans Azure Cosmos DB
- Qu’est-ce qu’Azure Database pour PostgreSQL ?
- Présentation d’Azure HDInsight
- Qu’est-ce qu’Azure Pipelines ?
Modules de formation Microsoft :
- Générer et stocker des images de conteneur avec Azure Container Registry
- Configurer des plans Azure App Service
- Utiliser Azure Cosmos DB
- Créer un serveur Azure Database pour PostgreSQL et s’y connecter
- Développer pour Azure Cache pour Redis
- Explorer Gestion des API
- Gérer l’infrastructure en tant que code avec Azure et DSC
- Présentation d'Azure HDInsight