데이터 스트림 이해
데이터 스트림은 일반적으로 특정 지정 시간 이벤트와 관련된 영구 데이터 시리즈로 구성됩니다. 예를 들어 데이터 스트림에는 소셜 미디어 마이크로 블로깅 사이트에 제출된 메시지의 세부 정보 또는 인터넷에 연결된 날씨 센서가 기록한 일련의 환경 측정값이 포함될 수 있습니다. 스트리밍 데이터 분석은 시간에 따른 변화를 더 잘 이해하는 데 가장 자주 사용됩니다. 예를 들어 마케팅 조직은 소셜 미디어 메시지에 대한 감정 분석을 수행하여 광고 캠페인이 회사 또는 제품에 대해 더 긍정적인 의견을 창출했는지 또는 농업 기업이 온도 및 강우 추세를 모니터링하여 관개 및 작물 수확을 최적화할 수 있는지 확인할 수 있습니다.
스트림 분석에 대한 일반적인 목표는 다음과 같습니다.
- 지속적으로 데이터를 분석하여 문제 또는 추세를 보고합니다.
- 다양한 조건에서 구성 요소 또는 시스템 동작을 이해하여 향후 개선을 계획하는 데 도움을 줍니다.
- 특정 이벤트가 발생하거나 임계값을 초과할 때 특정 작업 또는 경고를 트리거합니다.
스트림 처리 솔루션의 특징
스트림 처리 솔루션은 일반적으로 다음과 같은 특성을 나타냅니다.
- 원본 데이터 스트림은 ‘제한되지 않습니다.’ 데이터는 스트림에 영구적으로 추가됩니다.
- 스트림의 각 데이터 레코드에는 레코드와 관련된 이벤트가 발생(또는 기록)하는 경우를 나타내는 temporal(시간 기반) 데이터가 포함됩니다.
- 스트리밍 데이터의 집계는 temporal ‘기간’ 동안 수행됩니다(예: 분당 소셜 미디어 게시물 수 또는 시간당 평균 강우량 기록).
- 스트리밍 데이터 처리 결과를 사용하여 실시간(또는 ‘근 실시간’) 자동화 또는 시각화를 지원하거나 해당 결과를 분석 저장소에 보관하여 기록 분석을 위해 다른 데이터와 결합할 수 있습니다. 많은 솔루션은 이러한 접근 방식을 결합하여 실시간 및 기록 분석을 모두 지원합니다.