Azure Data Explorer를 사용하는 경우
여기서는 Azure Data Explorer가 빅 데이터 분석 요구에 적합한 기능인지를 결정하는 방법을 알아봅니다. 다음 기준을 평가하여 Azure Data Explorer가 성능 및 기능 목표를 충족하는지 확인할 수 있습니다.
- 대화형 가격 분석
- 데이터 다양성
- 데이터 속도
- 데이터 볼륨
- 데이터 구성
- 쿼리 동시성
- 빌드 및 구입
의사 결정 기준
Azure Data Explorer는 사용자들이 민첩한 환경에서 데이터 기반 의사 결정을 내릴 수 있도록 하는 빅 데이터 대화형 분석 플랫폼입니다. 여기에 나열된 요소는 Azure Data Explorer가 현재 워크로드에 적합한지 평가하는 데 도움이 될 수 있습니다. 다음과 같은 주요 질문을 스스로에게 물어보세요.
대화형 가격 분석
대화형으로 데이터를 분석해야 하나요?
데이터 분석에는 대량의 데이터를 실행 가능한 결론을 간소화하는 데 도움이 되는 집계, 범위 지정, 평가, 상관 관계, 변칙 검색, 예측, 일반 모델 평가와 같은 기술이 포함됩니다. 대화형으로 이러한 활동을 수행하는 것이 바로 Azure Data Explorer의 기능입니다. 이러한 활동은 대화형 대시보드, 분석 사용자 지정 애플리케이션 또는 사용자가 이해할 수 있는 쿼리 및 시각화를 통해 데이터와 직접적으로 상호 작용하면서 발생할 수 있습니다. Azure Data Explorer는 데이터에 대해 장기 실행 일괄 작업을 실행하는 데 적합한 기술이 아닐 수 있습니다. 장기 실행 작업을 위해 Azure Data Explorer와 잘 작동하는 Microsoft Spark와 같은 기술을 사용하는 것이 좋습니다.
데이터 다양성
내 데이터 구조는 얼마나 다양한가요?
Azure Data Explorer는 스케일링 가능한 고성능 전체 텍스트 인덱스 및 동적 스키마 지원을 제공합니다. 정형, 반정형(json/xml), 텍스트 데이터를 분석하고 처리해야 하는 경우 Azure Data Explorer가 워크로드에 적합하다는 것을 의미할 수 있습니다.
데이터 속도
실시간 데이터 분석이 중요한 요소인가요?
Azure Data Explorer는 대량의 데이터를 빠르고 짧은 대기 시간 안에 수집할 수 있습니다. 일반적인 데이터 세트에는 추적, 트랜잭션 로그, 시계열, 메트릭 및 일반적으로 작업 레코드 스트림이 포함됩니다. 새 데이터를 근 실시간으로 분석하는 경우는 일반적인 사용 사례입니다. Azure Data Explorer는 Azure Event Hubs, IoT 허브, Kafka와 같은 스트리밍 기술에 연결하여 이러한 워크로드를 구동합니다. 그러나 실시간 분석이 필요한 경우 Azure Data Explorer가 최상의 옵션이 아닐 수 있습니다.
데이터 볼륨
수집해야 하는 데이터의 양은 얼마나 되나요?
Azure Data Explorer는 대규모 데이터 워크로드에 대해 대화형 및 API를 통한 웜 경로 분석을 제공하도록 빌드되었습니다. 누적된 총 데이터 크기가 수 기가바이트에 달하는 시나리오의 경우 비용 효율적인 다른 솔루션이 있을 수 있습니다.
데이터 구성
내 데이터는 얼마나 일관되게 구성되어 있나요?
Azure Data Explorer는 원시 데이터에 대해 읽기 시 스키마를 적용하도록 빌드되었습니다. 이 방법을 통해 현재 요구 사항에 따라 다양한 방식과 다양한 관점에서 데이터를 유연하게 검사할 수 있습니다. 이 기능은 보안, 운영 및 다른 영역 간의 경쟁 환경에서 예기치 못한 문제를 처리하는 데 유용합니다. Azure Data Explorer는 원시 데이터 분석을 위한 매우 빠른 속도, 스케일링 성능, 비용 효율성을 제공합니다. 데이터 웨어하우징 배포에서 ETL(추출, 변환, 로드) 프로세스는 잘 큐레이팅되고 일관성이 뛰어나며 잘 문서화된 엔터티 및 특성 집합을 주기적으로 생성하는 경우가 많습니다. 이러한 복잡한 별모양 스키마에 대한 분석에는 일반적으로 Azure Data Explorer가 최적화되지 않은 대규모 팩트 간 조인이 포함됩니다.
쿼리 동시성
동시에 데이터를 쿼리/수집/처리하려면 몇 명의 사용자가 필요하나요?
Azure Data Explorer는 분석 SaaS 제품을 구현하는 데 광범위하게 사용됩니다. 동시에 많은 수의 요청에서 다양하고 고유한 분석 요구 사항을 지원해야 하는 경우 Azure Data Explorer가 좋은 솔루션을 제공해야 합니다.
빌드 및 구입
데이터 플랫폼을 사용자 지정하려는 요구가 얼마나 강력한가요?
Azure Data Explorer는 완전 관리형 PaaS(Platform as a Service)입니다. 그러나 기본적으로 턴키 솔루션을 제공하지는 않습니다. 솔루션(빌드)을 제공하기 위해서는 그 외에도 환경을 사용자 지정, 구성, 연결하고 만들어야 합니다. Azure Data Explorer를 사용하여 다양한 도메인 및 업종에 이러한 턴키 솔루션을 제공하는 Microsoft 및 타사의 다양한 솔루션이 있습니다. 예를 들어, IT 운영을 위한 Azure Monitor가 있습니다. 보안 도메인의 Microsoft Advanced Threat Protection 및 Microsoft Sentinel, IoT 도메인의 Azure Time Series Insights 및 Azure IoT Central.
조건 적용
Azure Data Explorer는 고속의 다양한 원시 데이터를 통해 지식 근로자에게 대화형 분석 기능을 지원하는 데 가장 적합합니다. 의류 회사 시나리오의 예 프로세스에 앞서 나열한 기준을 적용하는 방법에 대해 생각해 보겠습니다.
프로덕션 데이터에 Azure Data Explorer를 사용해야 하나요?
예제 의류 회사의 생산 부서는 재고 및 생산 볼륨을 관리하는 방법을 결정해야 합니다. 이러한 부서에서는 재고 데이터 로그가 계속 들어옵니다. 또한 지역별 제품 요구 사항을 예상하기 위해 마케팅 부서의 지리 공간적 데이터를 사용하려고 합니다. 이 데이터는 ‘다양성’, ‘속도’, ‘볼륨’ 수준이 높습니다. 일관되게 구성되지 않으며 많은 관련자가 이 데이터를 동시에 쿼리해야 합니다. 수집부터 쿼리까지 ‘짧은 대기 시간’을 유지해야 합니다. 쿼리 응답 시간은 1초 미만이어야 합니다. 의사 결정 기준에 따르면 Azure Data Explorer는 의류 회사의 생산 부서에 적합합니다.
마케팅 데이터에 Azure Data Explorer를 사용해야 하나요?
의류 회사의 마케팅 부서는 캠페인의 효과를 평가하려고 합니다. 웹 사이트 및 광고 캠페인의 클릭스트림 데이터가 있습니다. 소셜 미디어의 자유 텍스트(비정형) 데이터도 있습니다. 이 데이터는 매우 ‘다양하며 조직화되어 있지 않습니다’. 이 부서에서는 예비 ‘대화형 분석’을 수행하려고 합니다. 의사 결정 기준에 따르면 Azure Data Explorer는 의류 회사의 마케팅 부서에 적합합니다.
지침 요약
다음 표에서는 새로운 사용 사례를 평가하는 방법을 보여 줍니다. 여기에서 모든 사용 사례를 다루지는 않지만 Azure Data Explorer가 사용자에게 적합한 솔루션인지 결정하는 데 도움이 될 수 있다고 생각합니다.
| 사용 사례 | 대화형 분석 | 빅 데이터(다양성, 속도, 볼륨) | 데이터 구성 | 동시성 | 빌드 및 구입 | Azure Data Explorer를 사용해야 하나요? |
|---|---|---|---|---|---|---|
| 보안 분석 SaaS 구현 | 근 실시간으로 진행되는 대화형 분석을 많이 사용합니다. | 보안 데이터는 다양하고, 볼륨과 속도가 높습니다. | 상황에 따라 다름 | 이 시스템은 여러 테넌트의 여러 분석가가 사용하는 경우가 많습니다. | SaaS 제품 구현은 빌드 시나리오입니다. | 예 |
| CDN 로그 분석 | 문제 해결, QoS 모니터링을 위해 대화형 지원 | CDN 로그는 다양하고, 볼륨과 속도가 높습니다. | 로그 레코드를 구분합니다. | 소규모 데이터 과학자 그룹이 이러한 분석을 사용할 수도 있지만 많은 대시보드를 강화할 수도 있습니다. | CDN 분석에서 추출된 값은 시나리오에 따라 다르며 사용자 지정 분석이 필요합니다. | 예 |
| IoT 원격 분석용 시계열 데이터베이스 | 문제 해결, 추세 분석, 사용량 분석, 변칙 징후 검색을 위한 대화형입니다. | IoT 원격 분석은 속도가 빠르지만 구조적으로만 구성되거나 크기가 중간일 수 있습니다. | 관련 레코드 세트입니다. | 소규모 데이터 과학자 그룹이 이러한 분석을 사용할 수도 있지만 많은 대시보드를 강화할 수도 있습니다. | 데이터베이스를 검색할 때 컨텍스트는 일반적으로 빌드입니다. | 예 |
다음 순서도에서는 Azure Data Explorer의 사용을 고려할 때 제시되는 주요 질문을 요약해서 보여 줍니다.
