Concevoir des stratégies pour les chemins de données chauds (hot et warm) et froids

  • 4 minutes

Traditionnellement, les données étaient stockées localement. On ne s’occupait pas de savoir comment les données étaient utilisées ni quel était leur cycle de vie. Dans le cloud, les données peuvent être stockées en fonction de l’accès, du cycle de vie et d’autres exigences de conformité. Dans cette unité, nous examinons les chemins de données chauds (hot et warm) et froids, et prenons en compte les différentes options de stockage et de calcul des données.

Chemin de données chaud (warm)

Un chemin de données chaud (warm) prend en charge l’analyse des données quand elles circulent dans le système. Le flux de données est traité en quasi-temps réel. Les données sont enregistrées dans le stockage chaud (warm) et poussées sur les clients analytiques.

  • La plateforme Azure offre de nombreuses options pour le traitement des événements et l’un des choix courants est Azure Stream Analytics.
  • Stream Analytics peut exécuter une analyse complexe à grande échelle pour les fenêtres bascule, glissante et récurrente. Le service prend en charge l’exécution d’agrégations de flux et la jonction de sources de données externes. Pour les traitements complexes, le niveau de performance peut être étendu en utilisant plusieurs instances d’Azure Event Hubs, travaux Stream Analytics et fonctions Azure.
  • Le stockage chaud peut être implémenté avec différents services sur la plateforme Azure, par exemple Azure SQL Database et Azure Cosmos DB.

Scénario d'entreprise

Voyons un scénario courant d’agrégation de données d’appareil IoT. Les appareils peuvent envoyer des données, mais ils ne produisent pas de résultats ni de données d’analyse. Cette situation met en évidence un défi courant : essayer d’extraire des insights à partir de données IoT. Les données que vous cherchez ne sont pas disponibles dans les données que vous recevez. Vous devez déduire l’utilisation en combinant les données que vous recevez avec d’autres sources de données. Ensuite, vous appliquez des règles pour déterminer si la machine produit des résultats. Par ailleurs, les règles peuvent changer d’une entreprise à l’autre, selon les attentes en matière d’analyse ou de résultats.

Chemin de données froid

Le chemin de données chaud (warm) permet de traiter le flux pour découvrir des modèles au fil du temps. Toutefois, vous pouvez avoir besoin de calculer l’utilisation sur une période passée. Vous pouvez aussi nécessiter différents tableaux croisés dynamiques et agrégations, et fusionner les résultats avec ceux du chemin chaud (warm) pour présenter une vue unifiée à l’utilisateur. Un chemin de données froid peut vous aider à accomplir ces tâches.

  • Un chemin de données froid se compose d’une couche de traitement et de couches de service qui fournissent une vue à long terme du système.
  • La couche de traitement crée des vues d’agrégation précalculées pour obtenir des réponses rapides aux requêtes sur de longues périodes. La plateforme Azure fournit diverses options technologiques pour cette couche.
  • Le chemin froid comprend un magasin de données à long terme pour la solution. Le Stockage Azure est une approche courante. Stockage Azure inclut des objets blob Azure, du stockage Data Lake Storage Gen2, des fichiers, files d’attente et tables Azure.
  • Le stockage froid peut désigner des blobs, le stockage Data Lake Storage Gen2, des tables Azure ou une combinaison de ces éléments.
  • Pour stocker de grandes quantités de données non structurées, les meilleures options sont le Stockage Blob, Azure Files ou Azure Data Lake Storage Gen2. Le stockage sur chemin froid est idéal pour les messages d’origine qui contiennent des données non traitées reçues par les applications IoT.

Scénario d'entreprise

Prenez un scénario où vous devez créer des modèles Machine Learning pour les interactions au fil du temps sur le site web de Tailwind Traders. Vous devez automatiser le déplacement des données et faire des transformations de données. Dans ce scénario, Azure Data Factory est une bonne solution pour créer les vues de traitement sur la couche de service du chemin froid afin de répondre à ces exigences. Il s’agit d’un service d’intégration de données géré basé sur le cloud qui vous permet de créer des workflows cloud axés sur les données pour orchestrer et automatiser le déplacement et la transformation des données. Il peut traiter et transformer les données en utilisant des services comme Azure HDInsight Hadoop, Apache Spark et Azure Databricks. Vous pouvez créer des modèles Machine Learning et les consommer avec les clients analytiques.

Chemin de données chaud (hot)

Un chemin de données chaud (hot) est généralement utilisé pour le traitement et l’affichage des données en temps réel. Ce chemin est utilisé pour les alertes en temps réel et les opérations de streaming. Un chemin chaud (hot) est utilisé quand les résultats de données sensibles à la latence doivent être prêts en quelques secondes ou moins, et quand les données circulent pour être consommées rapidement par les clients analytiques.

Scénario d'entreprise

Tailwind Traders souhaite implémenter l’analyse des données pour son portail client. L’entreprise doit collecter des données de streaming et fournir des alertes en temps réel aux administrateurs, aux assistants clientèle et aux utilisateurs du portail. Le chemin chaud (hot) est idéal pour ce scénario. Les données peuvent être collectées dès qu’elles sont entrées par l’utilisateur ou présentées au client. Les données peuvent être remises en quasi-temps réel aux administrateurs pour permettre une analyse rapide et une action de suivi.

Comparer les chemins de données

Le tableau suivant compare des scénarios correspondants aux trois solutions de chemin. Passez en revue les scénarios et réfléchissez aux solutions dont à besoin Tailwind Traders.

Scénario Solution de chemin
Prise en charge flexible des exigences de données qui changent fréquemment. Permet de traiter ou d’afficher les données en temps réel. Chemin de données chaud (hot)
Prend en charge les données rarement utilisées, comme les données stockées pour des raisons légales ou de conformité. Permet la consommation de données pour l’analytique à long terme et le traitement par lots. Chemin de données froid
Stocke ou affiche un sous-ensemble récent des données. Permet de consommer les données pour des petits besoins d’analytique et de traitement par lots. Chemin de données chaud (warm)