편집

AKS를 사용한 데이터 스트리밍

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

솔루션 아이디어

이 문서는 솔루션 아이디어입니다. 잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보로 콘텐츠를 확장하려면 GitHub 피드백을 제공하여 알려주세요.

이 문서에서는 AKS(Azure Kubernetes Service)를 사용하여 디바이스에서 대량의 스트리밍 데이터를 신속하게 처리하고 분석하기 위한 솔루션을 보여 줍니다.

Apache®, Apache Kafka 및 Apache Spark는 미국 및/또는 기타 국가에서 pache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.

아키텍처

디바이스의 스트리밍 데이터를 수집, 처리 및 분석하는 방법을 보여 주는 아키텍처 다이어그램

이 아키텍처의 Visio 파일을 다운로드합니다.

데이터 흐름

  1. 센서가 데이터를 생성하고 이를 Azure API Management로 스트리밍합니다.
  2. AKS 클러스터가 서비스 메시 뒤에서 컨테이너로 배포된 마이크로 서비스를 실행합니다. 컨테이너는 DevOps 프로세스를 사용하여 빌드되고 Azure Container Registry에 저장됩니다.
  3. 수집 서비스가 데이터를 Azure Cosmos DB에 저장합니다.
  4. 분석 서비스가 비동기적으로 데이터를 수신하고 Apache Kafka 및 Azure HDInsight로 스트리밍합니다.
  5. 데이터 과학자가 기계 학습 모델과 Splunk 플랫폼을 사용하여 데이터를 분석합니다.
  6. 처리 서비스가 데이터를 처리하고 결과를 Azure Database for PostgreSQL에 저장합니다. 또한 서비스가 데이터를 Azure Cache for Redis에 캐시합니다.
  7. Azure App Service에서 실행되는 웹 앱이 결과의 시각화를 만듭니다.

구성 요소

이 솔루션에는 다음과 같은 주요 기술이 사용됩니다.

시나리오 정보

이 솔루션은 데이터 원본에 IoT(사물 인터넷) 디바이스, 센서 및 차량이 포함된 수백만 건의 데이터 요소가 관련된 시나리오에 적합합니다. 이러한 상황에서는 대량의 데이터를 처리하는 것이 한 가지 과제입니다. 조직에서 복잡한 시나리오에 대한 인사이트가 필요하므로 데이터를 빠르게 분석하는 것도 필요합니다.

AKS의 컨테이너화된 마이크로 서비스가 이 솔루션의 핵심 부분입니다. 이러한 자체 포함된 서비스가 실시간 데이터 스트림을 수집하고 처리합니다. 또한 필요에 따라 확장될 수도 있습니다. 컨테이너 이식성이 있어서 서비스를 다른 환경에서 실행하고 여러 원본의 데이터를 처리할 수 있습니다. 마이크로 서비스 개발 및 배포를 위해서는 DevOps 및 연속 통합/지속적 업데이트(CI/CD)가 사용됩니다. 이러한 접근 방식은 개발 주기를 단축시켜 줍니다.

이 솔루션에서는 수집된 데이터를 저장하기 위해 Azure Cosmos DB를 사용합니다. 이 데이터베이스는 처리량 및 스토리지 크기를 탄력적으로 조정하므로, 대량의 데이터에 적합합니다.

이 솔루션에서는 또한 Kafka를 사용합니다. 낮은 대기 시간의 스트리밍 플랫폼으로 실시간 데이터 피드를 매우 빠른 속도로 처리할 수 있습니다.

또 다른 주요 솔루션 구성 요소는 관리되는 오픈 소스 클라우드 분석 서비스인 HDInsight입니다. HDInsight는 Azure에서 Apache Spark를 사용하면서 대용량 및 속도로 빅 데이터 프레임워크 실행을 간소화합니다. Splunk는 데이터 분석 프로세스에 도움이 됩니다. 이 플랫폼은 실시간 데이터로부터 시각화를 만들고 비즈니스 인텔리전스를 제공합니다.

잠재적인 사용 사례

이 솔루션은 다음 영역에서 이점이 있습니다.

  • 차량 안전(특히 자동차 업계)
  • 유통 및 기타 산업의 고객 서비스
  • 의료 클라우드 솔루션
  • 금융 산업의 금융 기술 솔루션

다음 단계

제품 설명서:

Microsoft 학습 모듈: