Azure 데이터 탐색기란?
먼저 서비스를 정의하고 Azure Data Explorer의 핵심 기능을 살펴보겠습니다. 이 개요는 이 서비스가 데이터를 관리하고 분석하는 데 적합한 서비스인지를 결정하는 데 유용할 것입니다.
Azure 데이터 탐색기란?
Azure Data Explorer는 근 실시간으로 대량의 데이터를 쉽게 분석할 수 있도록 하는 빅 데이터 분석 플랫폼입니다. 주요 인사이트를 추출하고, 패턴과 추세를 파악하고, 예측 모델을 생성할 수 있습니다.
Azure Data Explorer 도구 상자는 데이터 수집, 쿼리, 시각화, 관리를 위한 엔드투엔드 솔루션을 제공합니다. 이러한 도구를 사용하면 시계열 전반에 걸쳐 정형, 반정형, 비정형 데이터를 분석하고 Machine Learning을 적용할 수 있습니다.
Azure Data Explorer는 완벽하게 관리되고 확장 가능하며 안전하고 강력하며 엔터프라이즈에 적합합니다. 로그 분석, 시계열 분석, IoT 및 범용 탐색 분석에 유용합니다.
빅 데이터를 이해하는 방법
예제 의류 회사를 생각해보면 여러 도메인에서 다양한 형식의 데이터 형식을 가져옵니다. 이러한 데이터 유형에 대해 다양한 종류의 분석을 사용한 다음 그 결과를 다양한 이해관계자와 공유해야 합니다. Azure Data Explorer를 사용하여 회사 전체의 모든 데이터에서 인사이트를 얻을 수 있습니다.
프로덕션은 제품 로그를 분석하여 인벤토리를 관리하고 제조 결정을 내립니다. 지리 공간적 분석은 실적이 우수한 광고의 지리적 영역을 식별하고 인벤토리를 예측하는 데 사용되는 이러한 결정을 알려줍니다.
회사의 웨어하우스는 IoT 디바이스를 갖추고 있으며, 일부는 보안 팀에서 웨어하우스 진입점/종료점 로그를 관리하는 데 사용하고, 일부는 운영 팀에서 웨어하우스 내부 환경을 모니터링하는 데 사용합니다. 개별 저장소는 시계열 분석을 사용하여 판매 이상을 식별하고 향후 재고 이벤트를 예측합니다.
고객 성공 부서에서는 텍스트 검색을 사용하여 소셜 미디어에 대한 사용자 피드백을 분석하지만, 글로벌 마케팅 팀은 클릭스트림 데이터(Log Analytics의 형태이기도 함)를 사용하여 광고 캠페인 및 고객 유입 경로를 온라인으로 최적화하고 검색합니다.
매일 1분마다 Azure Data Explorer로 흐르는 데이터에 따라 회사 결정이 진행됩니다.
Azure Data Explorer의 주요 기능에는 어떤 것이 있나요?
Azure Data Explorer의 사용 용도를 살펴보았으므로 이제 몇 가지 주요 기능을 알아보겠습니다.
데이터 속도, 다양성, 볼륨
Azure Data Explorer는 일괄 처리 또는 스트리밍 모드에서 몇 분 안에 테라바이트 규모의 데이터를 수집할 수 있습니다. 페타바이트 규모의 데이터를 쿼리하고 밀리초에서 몇 초 내에 결과를 반환할 수 있습니다. 이 용량을 사용하면 빠른 속도(초당 수백만 개의 이벤트), 짧은 대기 시간(초), 선형 규모의 원시 데이터 수집이 가능합니다. 이 원시 데이터는 다양한 형식과 구조로 수집될 수 있으며 다양한 파이프라인과 원본에서 유입될 수 있습니다.
사용자에게 친숙한 쿼리 언어
Azure Data Explorer는 이 팀에서 처음 발명한 오픈 소스 언어인 KQL(Kusto 쿼리 언어)을 사용합니다. 이 언어는 쉽게 이해하고 배울 수 있으며 생산성이 뛰어납니다. 간단한 연산자와 고급 분석을 사용할 수 있습니다.
고급 분석
Azure Data Explorer에는 시계열 분석을 위한 다양한 기능 세트가 있습니다. 시계열 추가 및 빼기, 필터링, 회귀, 계절성 감지, 지리 공간 분석, 이상 감지, 스캐닝 및 예측이 포함됩니다. 시계열 함수는 몇 초 내에 수천 개의 시계열을 처리하도록 최적화되어 있습니다. 변칙을 진단하고 근본 원인을 분석할 수 있는 클러스터 플러그 인을 사용하여 패턴을 쉽게 검색할 수 있습니다. KQL 쿼리에 python 코드를 포함하여 Azure Data Explorer 기능을 확장할 수도 있습니다.
사용하기 쉬운 마법사
수집 마법사를 사용하면 데이터 수집 프로세스를 쉽고 빠르고 직관적으로 수행할 수 있습니다. 웹 UI는 데이터 수집, 데이터베이스 테이블 만들기, 구조 매핑을 빠르게 시작하도록 지원하는 직관적인 단계별 환경을 제공합니다. 다양한 데이터 형식의 다양한 원본에서 일회성 또는 지속적으로 수집할 수 있습니다. 테이블 매핑 및 스키마는 자동으로 제안되며 쉽게 수정할 수 있습니다.
다목적 데이터 시각화
데이터 시각화를 통해 중요한 인사이트를 얻을 수 있습니다. Azure Data Explorer는 다양한 차트 및 시각화를 지원하는 기본 제공 시각화 및 대시보드를 제공합니다. Power BI, Grafana, Kibana 및 Databricks에 대한 네이티브 커넥터, Tableau, Sisense, Qlik 등에 대한 ODBC 지원과 기본적으로 통합됩니다.
자동 수집, 처리, 내보내기
Azure Data Explorer는 서버 쪽 저장 함수, 연속 수집, Azure Data Lake Store로의 연속 내보내기를 지원합니다. 또한 구체화된 뷰를 사용하여 서버 쪽에서의 수집 시간 매핑 변환, 업데이트 정책, 예약된 사전 컴퓨팅 집계를 지원합니다.
다른 서비스와 통합
수집, 시각화, 오케스트레이션, 모니터링 등 워크플로의 모든 측면에서 다른 도구와 쉽고 매끄럽게 통합됩니다.