Azure 데이터 탐색기란?

아티클
08/28/2023

Azure Data Explorer는 대용량 데이터를 거의 실시간으로 쉽게 분석할 수 있는 완전 관리형 고성능 빅 데이터 분석 플랫폼입니다. Azure Data Explorer 도구 상자는 데이터 수집, 쿼리, 시각화, 관리를 위한 엔드투엔드 솔루션을 제공합니다.

Azure Data Explorer는 시계열에서 정형, 반정형, 비정형 데이터를 분석하고 Machine Learning을 사용하여 간편하게 핵심 인사이트를 추출하고 패턴 및 추세를 파악하고 예측 모델을 만들 수 있도록 합니다. Azure Data Explorer 기존 관계형 모델을 사용하여 강력한 형식의 스키마가 있는 테이블로 데이터를 구성합니다. 테이블은 데이터베이스 내에 저장되며 클러스터는 여러 데이터베이스를 관리할 수 있습니다. Azure Data Explorer는 확장 가능하고 안전하며 강력하며 엔터프라이즈급이며 로그 분석, 시계열 분석, IoT 및 범용 탐색 분석에 유용합니다.

Azure Data Explorer 기능은 쿼리 언어인 Kusto 쿼리 언어(KQL)를 기반으로 하는 다른 서비스에 의해 확장됩니다. 이러한 서비스에는 Azure Monitor 로그, Application Insights, Time Series Insights 및 엔드포인트용 Microsoft Defender 포함됩니다.

Azure Data Explorer는 언제 사용해야 하나요?

다음 질문을 사용하여 Azure Data Explorer가 사용 사례에 적합한지 확인할 수 있습니다.

대화형 분석: 대화형 분석이 솔루션의 일부인가요? 예를 들어 집계, 상관 관계 또는 변칙 검색이 있습니다.
다양성, 속도, 볼륨: 스키마가 다양하나요? 거의 실시간으로 대량의 데이터를 수집해야 하나요?
데이터 조직: 원시 데이터를 분석하시겠습니까? 예를 들어 완전히 큐레이팅된 스타 스키마는 아닙니다.
쿼리 동시성: 여러 사용자 또는 프로세스가 Azure Data Explorer를 사용하나요?
빌드 및 구매: 데이터 플랫폼을 사용자 지정할 계획인가요?

Azure Data Explorer는 고속의 다양한 원시 데이터를 통해 대화형 분석 기능을 지원하는 데 가장 이상적입니다. 다음 의사 결정 트리를 사용하여 Azure Data Explorer가 적합한지 결정하는 데 도움이 됩니다.

이 이미지는 Azure Data Explorer 의사 결정 트리의 도식적 워크플로 이미지입니다.

Azure 데이터 탐색기의 특성은 무엇인가요?

데이터 속도, 다양성, 볼륨

Azure Data Explorer 사용하면 대기 중인 수집 또는 스트리밍 수집을 통해 몇 분 안에 테라바이트 단위의 데이터를 수집할 수 있습니다. 밀리초에서 몇 초 이내에 결과가 반환되는 페타바이트 규모의 데이터를 쿼리할 수 있습니다. Azure Data Explorer는 원시 데이터의 고속(초당 수백만 개의 이벤트), 짧은 대기 시간(초) 및 선형 확장 수집을 제공합니다. 다양한 파이프라인과 소스에서 유입되는 다양한 형식과 구조의 데이터를 수집합니다.

사용자에게 친숙한 쿼리 언어

팀에서 처음 개발한 오픈 소스 언어인 KQL(Kusto Query Language)를 사용하여 Azure Data Explorer를 쿼리합니다. 이 언어는 쉽게 이해하고 배울 수 있으며 생산성이 뛰어납니다. 간단한 연산자와 고급 분석을 사용할 수 있습니다. Azure Data Explorer T-SQL도 지원합니다.

고급 분석

시계열 추가 및 빼기, 필터링, 회귀, 계절성 감지, 지리 공간적 분석, 변칙 검색, 스캔 및 예측을 비롯한 다양한 기능을 사용하여 시계열 분석에 Azure Data Explorer를 사용합니다. 시계열 함수는 몇 초 내에 수천 개의 시계열을 처리하도록 최적화되어 있습니다. 변칙을 진단하고 근본 원인을 분석할 수 있는 클러스터 플러그 인을 사용하여 패턴을 쉽게 검색할 수 있습니다. KQL 쿼리에 python 코드를 포함하여 Azure Data Explorer 기능을 확장할 수도 있습니다.

사용하기 쉬운 마법사

수집 마법사를 사용하면 데이터 수집 프로세스를 쉽고 빠르고 직관적으로 수행할 수 있습니다. Azure Data Explorer 웹 UI는 데이터 수집, 데이터베이스 테이블 생성 및 구조 매핑을 빠르게 시작하는 데 도움이 되는 직관적인 안내형 환경을 제공합니다. 다양한 소스와 다양한 데이터 형식에서 한 번 또는 연속적으로 수집할 수 있습니다. 테이블 매핑 및 스키마는 자동으로 제안되며 쉽게 수정할 수 있습니다.

다목적 데이터 시각화

데이터 시각화를 통해 중요한 인사이트를 얻을 수 있습니다. Azure Data Explorer는 다양한 차트 및 시각화를 지원하는 기본 제공 시각화 및 대시보드를 즉시 제공합니다. 여기에는 Power BI와의 네이티브 통합, Grafana, Kibana 및 Databricks용 기본 커넥터, Tableau, Sisense, Qlik 등에 대한 ODBC 지원이 있습니다.

자동 수집, 처리, 내보내기

Azure Data Explorer는 서버 쪽 저장 함수, 연속 수집, Azure Data Lake Store로의 연속 내보내기를 지원합니다. 또한 서버 쪽에서 수집 시간 매핑 변환, 업데이트 정책 및 구체화된 뷰를 사용하여 미리 계산된 예약 집계를 지원합니다.

Azure 데이터 탐색기 흐름

다음 다이어그램은 Azure 데이터 탐색기 작업의 다양한 측면을 보여 줍니다.

Azure Data Explorer 흐름.

일반적으로 Azure Data Explorer와 상호 작용할 때 다음 워크플로를 살펴보겠습니다.

참고

Azure Data Explorer 웹 UI에서 또는 SDK를 사용하여 Azure Data Explorer 리소스에 액세스할 수 있습니다.

데이터베이스 만들기: ‘클러스터’를 만들고 해당 클러스터에서 하나 이상의 ‘데이터베이스’를 만듭니다. 각 Azure Data Explorer 클러스터는 최대 10,000개의 데이터베이스를 포함할 수 있고 각 데이터베이스는 최대 10,000개의 테이블을 포함할 수 있습니다. 각 테이블의 데이터는 “익스텐트”라는 데이터 분할 데이터베이스에 저장됩니다. 모든 데이터는 수집 시간에 따라 자동으로 인덱싱되고 분할됩니다. 즉, 다양한 데이터를 많이 저장할 수 있으며 저장 방법 때문에 빠르게 액세스하여 쿼리할 수 있습니다. 빠른 시작: Azure 데이터 탐색기 클러스터 및 데이터베이스 만들기
데이터 수집: 쿼리를 실행할 수 있도록 데이터를 데이터베이스 테이블에 로드합니다. Azure Data Explorer는 여러 가지 수집 방법을 지원하며, 방법마다 고유의 시나리오가 있습니다. 이러한 방법에는 수집 도구, 다양한 서비스에 대한 커넥터 및 플러그 인, 관리형 파이프라인, SDK를 사용하는 프로그래밍 방식 수집, 그리고 직접 액세스 수집이 있습니다. 수집 마법사를 시작합니다.
쿼리 데이터베이스: Azure Data Explorer는 표현력이 뛰어나고 직관적이며 생산성이 높은 쿼리 언어인 Kusto 쿼리 언어를 사용합니다. 간단한 한 줄에서 복잡한 데이터 처리 스크립트까지 원활하게 전환할 수 있도록 하며, 정형, 반정형, 비정형(텍스트 검색) 데이터 쿼리하도록 지원합니다. 다양한 쿼리 언어 연산자 및 함수(집계, 필터링, 시계열 함수, 지리 공간적 함수, 조인, 합집합 등) 언어로 제공됩니다. KQL은 클러스터 간 및 데이터베이스 간 쿼리를 지원하며 구문 분석(json, XML 등) 관점에서 기능이 풍부합니다. 또한 이 언어는 기본적으로 고급 분석을 지원합니다.

웹 애플리케이션을 사용하여 쿼리를 실행하고 결과를 검토 및 공유합니다. 쿼리를 프로그래밍 방식으로(SDK 사용) 또는 REST API 엔드포인트로 보낼 수도 있습니다. SQL에 대해 잘 알고 있는 경우 SQL 대 Kusto 참고 자료로 시작하세요. 빠른 시작: Azure Data Explorer 웹 UI에서 데이터 쿼리
결과 시각화: 기본 Azure Data Explorer 대시보드에서 데이터의 다양한 시각적 표시를 사용합니다. Power BI 및 Grafana와 같은 일부 주요 시각화 서비스에 대한 커넥터를 사용하여 결과를 표시할 수도 있습니다. Azure Data Explorer에는 Tableau 및 Sisense와 같은 도구에 대한 ODBC 및 JDBC 커넥터도 지원됩니다.

피드백을 제공하는 방법

다음에서 Azure Data Explorer 및 Kusto 쿼리 언어에 대한 피드백을 보내 주세요.

질문하기
사용자 의견을 통해 제품 제안하기