Gegevensstromen begrijpen

  • 5 minuten

Een gegevensstroom bestaat uit een eeuwigdurende reeks gegevens, meestal gerelateerd aan specifieke point-in-time-gebeurtenissen. Een gegevensstroom kan bijvoorbeeld details bevatten van berichten die zijn verzonden naar een microblogsite voor sociale media of een reeks omgevingsmetingen die zijn vastgelegd door een met internet verbonden weersensor. Analyse van streaminggegevens wordt meestal gebruikt om meer inzicht te krijgen in wijzigingen in de loop van de tijd. Een marketingorganisatie kan bijvoorbeeld sentimentanalyses uitvoeren op sociale media-berichten om te zien of een reclamecampagne resulteert in positieve opmerkingen over het bedrijf of de producten, of een landbouwbedrijf kan trends in temperatuur en neerslag bewaken om irrigatie en oogst te optimaliseren.

Veelvoorkomende doelstellingen voor Stream Analytics zijn

  • Continu gegevens analyseren om problemen of trends te rapporteren.
  • Inzicht in onderdeel- of systeemgedrag onder verschillende omstandigheden om toekomstige verbeteringen te plannen.
  • Het activeren van specifieke acties of waarschuwingen wanneer bepaalde gebeurtenissen optreden of drempelwaarden worden overschreden.

Kenmerken van oplossingen voor stroomverwerking

Oplossingen voor stroomverwerking vertonen doorgaans de volgende kenmerken:

A diagram showing a stream of data including a date and time field being processed, aggregated by day, and visualized and stored.

  1. De brongegevensstroom is niet gebonden . Gegevens worden permanent aan de stroom toegevoegd.
  2. Elke gegevensrecord in de stroom bevat tijdelijke (tijdgebaseerde) gegevens die aangeven wanneer de gebeurtenis waarop de record betrekking heeft (of is vastgelegd).
  3. Aggregatie van streaminggegevens wordt uitgevoerd via tijdelijke vensters , bijvoorbeeld het opnemen van het aantal sociale mediaberichten per minuut of de gemiddelde neerslag per uur.
  4. De resultaten van streaminggegevensverwerking kunnen worden gebruikt ter ondersteuning van realtime (of bijna realtime) automatisering of visualisatie, of worden bewaard in een analytische opslag die moet worden gecombineerd met andere gegevens voor historische analyse. Veel oplossingen combineren deze benaderingen om zowel realtime als historische analyses te ondersteunen.