솔루션 아이디어
이 문서는 솔루션 아이디어입니다. 잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보로 콘텐츠를 확장하려면 GitHub 피드백을 제공하여 알려주세요.
이 솔루션 아이디어는 라이브 스트리밍 데이터에서 인사이트를 얻는 방법을 설명합니다. 모든 IoT 디바이스 또는 웹 사이트 클릭스트림의 로그에서 데이터를 지속적으로 캡처하고 거의 실시간으로 처리합니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
- Azure Event Hubs를 사용하여 애플리케이션에 대한 라이브 스트리밍 데이터를 쉽게 수집합니다.
- Synapse Pipelines를 사용하여 모든 정형 데이터를 Azure Blob Storage에 결합합니다.
- Apache Spark 풀을 활용하여 스트리밍 데이터를 정리, 변환 및 분석하고 운영 데이터베이스 또는 데이터 웨어하우스의 정형 데이터와 결합합니다.
- 확장 가능한 기계 학습/딥 러닝 기술을 사용하면 Apache Spark 풀의 Notebook 환경을 통해 Python, Scala 또는 .NET을 사용하여 이 데이터에서 더 심층적인 인사이트를 얻을 수 있습니다.
- Azure Synapse Analytics에서 Apache Spark 풀 및 Synapse Pipelines를 적용하여 대규모 데이터에 액세스하고 이동합니다.
- 분석 대시보드 및 포함된 보고서를 전용 SQL 풀에 빌드하여 조직 내에서 인사이트를 공유하고 Azure Analysis Services 사용하여 수천 명의 사용자에게 이 데이터를 제공합니다.
- Apache Spark 풀에서 Azure Cosmos DB로 인사이트를 가져와 실시간 앱을 통해 액세스할 수 있도록 합니다.
구성 요소
- Azure Synapse Analytics는 대규모 병렬 처리 아키텍처를 사용하여 데이터를 탄력적이고 독립적으로 스케일링, 컴퓨팅 및 저장할 수 있는 빠르고 유연하며 신뢰할 수 있는 클라우드 데이터 웨어하우스입니다.
- Synapse 파이프라인 설명서를 사용하면 ETL/ELT 워크플로를 만들고 예약하고 오케스트레이션할 수 있습니다.
- Azure Data Lake Storage: Azure Blob Storage 기반의 대규모로 확장 가능하고 안전한 데이터 레이크 기능입니다.
- Azure Synapse Analytics Spark 풀은 빠르고 쉬우며 협업적인 Apache Spark 기반 분석 플랫폼입니다.
- Azure Event Hubs 설명서는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다.
- Azure Cosmos DB는 전 세계에 배포된 다중 모델 데이터베이스 서비스입니다. 여러 Azure 지역에 걸쳐 데이터를 복제하고 스토리지에서 독립적으로 처리량의 크기를 조정하는 방법을 알아봅니다.
- Azure Cosmos DB용 Azure Synapse Link를 사용하면 Azure Synapse 작업 영역에서 제공되는 두 가지 분석 엔진인 SQL 서버리스 및 Spark 풀을 사용하여 트랜잭션 워크로드의 성능이나 비용에 영향을 주지 않고 Azure Cosmos DB의 운영 데이터에 대해 거의 실시간으로 분석을 실행할 수 있습니다.
- Azure Analysis Services는 BI 솔루션을 제어, 배포, 테스트 및 제공할 수 있는 서비스 형태의 엔터프라이즈급 분석입니다.
- Power BI는 조직 전체에 인사이트를 전달하는 비즈니스 분석 도구 모음입니다. 수백 개의 데이터 원본에 연결하고, 데이터 준비를 간소화하며, 계획되지 않은 분석을 수행합니다. 멋진 보고서를 작성한 다음, 조직이 웹 및 모바일 디바이스에서 사용할 수 있도록 보고서를 게시합니다.
대안
- Synapse Link는 Azure Cosmos DB 데이터를 기반으로 하는 분석을 위한 Microsoft 기본 솔루션입니다.
- Azure Event Hubs 대신 Azure IoT Hub를 사용할 수 있습니다. IoT Hub는 IoT 애플리케이션과 연결된 디바이스 간의 통신을 위한 중앙 메시지 허브 역할을 하는 클라우드에서 호스트되는 관리 서비스입니다. 수백만 개의 디바이스와 백 엔드 솔루션을 안정적으로 안전하게 연결할 수 있습니다. 거의 모든 디바이스를 IoT 허브에 연결할 수 있습니다.
시나리오 정보
이 시나리오에서는 라이브 스트리밍 데이터에서 인사이트를 얻는 방법을 보여줍니다. 모든 IoT 디바이스 또는 웹 사이트 클릭스트림의 로그에서 데이터를 지속적으로 캡처하고 거의 실시간으로 처리할 수 있습니다.
잠재적인 사용 사례
이 솔루션은 미디어 및 엔터테인먼트 업계에 적합합니다. 이 시나리오는 라이브 스트리밍 데이터에서 분석을 빌드하기 위한 것입니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화 핵심 요소 개요를 참조하세요.
Azure 가격 책정 계산기를 사용하여 사용자 지정된 가격 책정 예상을 가져올 수 있습니다.
다음 단계
- Azure Synapse Analytics 설명서
- Synapse Pipelines 설명서
- Azure Data Lake Storage 설명서
- Azure Data Explorer
- Azure Synapse Analytics Spark 풀
- Azure Event Hubs 설명서
- Azure Cosmos DB 설명서
- Analysis Services 설명서
- Power BI 설명서