Concevoir une solution Azure Stream Analytics pour l’analyse de données
Le processus qui englobe la consommation de flux de données, leur analyse et l’obtention d’insights exploitables est appelé traitement des flux. Azure Stream Analytics est un moteur de traitement d’événements complexe et d’analytique en temps réel complètement managé (offre PaaS). Il offre la possibilité d’effectuer une analytique en temps réel sur plusieurs flux de données à partir de sources comme des données d’appareil IoT, des capteurs, des parcours de navigation et des flux de réseaux sociaux.
Points à connaître sur Azure Stream Analytics
Azure Stream Analytics fonctionne sur les concepts suivants :
- Flux de données : les flux de données sont des données continues générées par des applications, des appareils IoT ou des capteurs. Les flux de données sont analysés et des insights actionnables sont extraits. Exemples : monitoring des flux de données provenant d’équipements industriels et de fabrication, et monitoring des données de conduites d’eau par les fournisseurs de services publics. Les flux de données nous aident à comprendre le changement au fil du temps.
- Traitement des événements : le traitement des événements fait référence à la consommation et à l’analyse d’un flux de données continu pour extraire des insights actionnables à partir d’événements se produisant dans ce flux. Par exemple, pour une voiture qui passe un péage, vous devez avoir des informations temporelles comme un horodatage pour indiquer quand l’événement s’est produit.
Important
Azure Stream Analytics prend en charge le traitement des événements dans trois formats de données : CSV, JSON et Avro.
L’illustration suivante montre le pipeline Stream Analytics et la manière dont les données sont ingérées, analysées, puis envoyées pour présentation ou action.
Fonctionnalités clés
Stream Analytics ingère des données à partir d’Azure Event Hubs (y compris Azure Event Hubs depuis Apache Kafka), Azure IoT Hub ou Stockage Blob Azure. La requête, basée sur le langage de la requête SQL, peut être utilisée pour filtrer, trier, agréger et joindre facilement des données de diffusion en continu sur une période. Vous pouvez également étendre ce langage SQL avec JavaScript et les fonctions C# définies par l’utilisateur.
Un travail Azure Stream Analytics se compose d’une entrée, d’une requête et d’une sortie. Vous pouvez faire les tâches suivantes avec la sortie du travail :
- Router les données vers des systèmes de stockage comme le Stockage Blob Azure, Azure SQL Database, Azure Data Lake Store et Azure Cosmos DB.
- Envoyer des données à Power BI pour une visualisation en temps réel.
- Stocker des données dans un service d’entreposage de données comme Azure Synapse Analytics, pour entraîner un modèle Machine Learning à partir des données historiques ou exécuter une analyse par lots.
- Déclencher des workflows en aval personnalisés en envoyant les données à des services comme Azure Functions, les rubriques Azure Service Bus ou les files d’attente Azure.
Scénario d'entreprise
Tailwind Traders utilise la transformation numérique de ses applications et services pour favoriser la croissance de l’entreprise. L’entreprise a besoin de pouvoir accéder aux données de capteur du GPS de ses camions de livraison en déplacement, pour les stocker et les analyser. Vous cherchez une solution pour fournir une analytique en temps réel des données de streaming GPS des camions afin de permettre aux administrateurs de prendre des décisions en temps réel. Après analyse, vous apprenez que l’équipe voudrait que ces données s’affichent dans un tableau de bord de visualisation Power BI existant. Azure Stream Analytics peut vous aider à répondre aux exigences de ce scénario.
Azure Stream Analytics est une solution idéale pour les autres exigences courantes en matière de données d’entreprise. Considérez les scénarios suivants :
| Condition requise | Description |
|---|---|
| Analyser les flux de données de télémétrie en temps réel à partir d’appareils IoT. | Collectez des données de capteur en temps réel dans Azure Stream Analytics en créant des systèmes d’automatisation qui relayent la température, l’humidité et la durée d’exécution des ventilateurs. Vous pouvez effectuer des ajustements pour maintenir une température optimale du bâtiment et réduire les coûts. |
| Générer une analytique des journaux web et des parcours de navigation. | Un détaillant de biens de consommation peut proposer des suggestions de produits en temps réel aux utilisateurs en fonction de l’analyse de e-commerce. |
| Créer des analyses géospatiales. | Préparez l’analyse pour des sources de données géospatiales comme des capteurs, des réseaux sociaux, des images satellite et des appareils mobiles. Vous pouvez prédire des événements météo extrêmes comme les incendies de forêt et les ouragans pour aider les compagnies aériennes dans l’organisation des routes. Vous pouvez envoyer des alertes mobiles aux clients en cas de conditions météo défavorables en fonction de leur géolocalisation. |
| Exécuter un monitoring à distance et une maintenance prédictive des ressources stratégiques de grande valeur. | Monitorez les ressources de grande valeur comme un équipement industriel en collectant des données opérationnelles dans Azure Stream Analytics. Vous pouvez optimiser la durée de vie utile de votre équipement en effectuant une maintenance prédictive. Les données collectées sur les transformateurs d’alimentation électrique peuvent être utilisées par les entreprises de services publics pour éviter les interruptions de fonctionnement. |
| Effectuer une analyse en temps réel sur les données de point de vente. | Détectez les transactions frauduleuses par carte de crédit et identifiez les activités suspectes sur le point de vente. Vous pouvez repérer les transactions avec un montant inhabituellement élevé ou les activités avec une localisation inhabituelle à partir des informations de contact du titulaire de la carte de crédit. Les déclencheurs d’alertes peuvent être configurés sur des données collectées dans Azure Stream Analytics. |
Dans le scénario de Tailwind Traders, nous pouvons appliquer Azure Stream Analytics pour visualiser les localisations en temps réel des camions en utilisant Power BI. Pour les décisions de gestion sur les charges de travail analytiques, les données peuvent être stockées dans un entrepôt de données comme Azure Cosmos DB ou Azure Data Lake pour analyse ultérieure.
Points à prendre en compte pour utiliser Azure Stream Analytics
Azure Stream Analytics peut être un composant précieux dans votre plan d’intégration de données pour Tailwind Traders. Passez en revue les avantages suivants du service.
- Prenez en compte les exigences de provisionnement. Azure Stream Analytics est un service complètement managé. Il est proposé sous forme d’offre PaaS (Platform as a Service), il n’est donc pas nécessaire de provisionner du matériel ou une infrastructure. Azure Stream Analytics gère entièrement votre travail, ce qui vous permet de vous concentrer sur votre logique métier et non sur l’infrastructure.
- Prenez en compte les coûts. Stream Analytics est peu coûteux. La facturation est effectuée à partir des unités de streaming consommées qui représentent la quantité de ressources de processeur et de mémoire allouées. Les opérations de scale-down ou scale-up sont basées sur les besoins métier, ce qui peut également réduire les coûts. Aucun coût de maintenance n’est engendré.
- Prenez en compte l’implémentation. Vous pouvez exécuter Azure Stream Analytics dans le cloud pour une analytique à grande échelle. Pour une analytique à latence ultra faible, exécutez Stream Analytics sur IoT Edge ou Azure Stack.
- Pensez aux performances. Stream Analytics offre des garanties de performances fiables. Il prend en charge des performances supérieures grâce au partitionnement, ce qui permet de paralléliser et d’exécuter des requêtes complexes sur plusieurs nœuds de streaming. Stream Analytics peut traiter des millions d’événements par seconde. Il peut fournir des résultats avec des latences ultra faibles.
- Prenez en compte la sécurité. Stream Analytics chiffre toutes les communications entrantes et sortantes, et prend en charge le protocole TLS 1.2. Les points de contrôle intégrés sont également chiffrés. Stream Analytics ne stocke pas les données entrantes, car tout le traitement s’effectue en mémoire.