패브릭의 실시간 분석이란?

지난 수십 년 동안 사용자가 대화형, 주문형 및 모든 사용자가 액세스할 수 있는 데이터에 익숙해짐에 따라 정보에 액세스하고 사용하는 방식의 패러다임이 바뀌었습니다. 이러한 변화는 빅 데이터, 스트리밍 데이터 수집 및 인덱싱된 키워드(keyword) 기반 검색을 통해 제공됩니다. 모두 함께 간소화된 사용자 환경을 형성합니다. Microsoft Fabric의 실시간 분석을 통해 조직은 고급 데이터 엔지니어까지 시민 데이터 과학자의 요구에 맞게 데이터를 민주화하면서 분석 솔루션을 집중 및 확장할 수 있습니다. 실시간 분석은 사이버 보안, 자산 추적 및 관리, 예측 기본 테넌트, 공급망 최적화, 고객 경험, 에너지 관리, 재고 관리, 품질 관리, 환경 모니터링, 차량 관리 및 상태 및 안전과 같은 엔터프라이즈 세계의 많은 시나리오에서 필수적입니다.

방법은? 실시간 분석은 복잡성을 줄이고 데이터 통합을 간소화합니다. 데이터 원본 또는 형식에 대한 프로비저닝, 자동 데이터 스트리밍, 인덱싱 및 분할, 주문형 쿼리 생성 및 시각화를 몇 초 만에 사용하여 데이터 인사이트에 빠르게 액세스할 수 있습니다. 이 사용자 프로세스는 강력한 분석 기능을 유지하면서 간소화됩니다. 실시간 분석을 사용하면 데이터 및 쿼리 요구 사항이 증가함에 따라 서비스와 원활하게 확장하여 분석 솔루션에 집중할 수 있습니다.

실시간 분석은 스트리밍 및 시계열 데이터에 최적화된 완전 관리형 빅 데이터 분석 플랫폼입니다. 구조화되고 반구조화되고 구조화되지 않은 데이터를 검색하는 데 뛰어난 성능을 가진 쿼리 언어 및 엔진을 활용합니다. 실시간 분석은 데이터 로드, 데이터 변환 및 고급 시각화 시나리오를 위해 전체 패브릭 제품 제품군과 완전히 통합됩니다.

실시간 분석의 고유한 특징은 무엇인가요?

• 실시간 이벤트를 캡처, 변환 및 사용자 지정 앱을 비롯한 다양한 대상으로 라우팅 합니다.
• 모든 원본에서 모든 데이터 형식으로 데이터를 쉽게 수집하거나 로드 합니다.
• 복잡한 데이터 모델을 빌드하거나 데이터를 변환하는 스크립팅을 만들 필요 없이 원시 데이터에서 직접 분석 쿼리를 실행합니다.
• 고성능, 짧은 대기 시간, 높은 새로 고침 데이터 분석을 제공하는 기본 스트리밍을 사용하여 데이터를 가져옵니다.
• 가져온 데이터는 시간 및 해시 기반 분할과 기본 인덱싱 모두 기본 분할을 거칩니다.
• 쿼리 구조화, 반구조화 또는 자유 텍스트 등 다양한 데이터 구조를 사용합니다.
• 다양한 사용 가능한 연산자를 사용하는 동안 고성능, 매우 낮은 응답 시간을 사용하여 변환 없이 원시 데이터를 쿼리합니다.
• 동시 쿼리 및 동시 사용자를 무제한으로 확장하여 기가바이트에서 페타바이트까지 무제한의 데이터를 관리합니다.
• 기본 제공 자동 크기 조정 은 캐시, 메모리, CPU 사용량 및 수집과 같은 워크로드 요소와 일치하도록 리소스를 조정하여 성능을 최적화하고 비용을 최소화합니다.
• Microsoft Fabric의 다른 환경 및 항목과 원활하게 통합 합니다.

실시간 분석을 사용해야 하는 경우는 언제인가요?

이러한 질문 중 하나에서 데이터 요구 사항을 설명하는 경우 실시간 분석이 적합한 솔루션입니다.

• 데이터 수집에서 쿼리에 대한 높은 새로 고침이 필요한가요?
• 스트리밍 데이터를 변환하시겠습니까?
• 쿼리 대기 시간이 짧은 데이터에 액세스해야 하는 서비스가 있나요(몇 초 만에)?
• 구조화된 데이터, 반구조적 데이터(JSON 또는 기타 배열과 같은 복잡한 데이터 포함) 또는 구조화되지 않은 데이터(예: 자유 텍스트)와 같은 다양한 형식의 데이터를 검색하거나 액세스해야 하나요?
• 많은 양의 데이터를 쿼리하는 기능을 원합니까?
• 데이터에 시계열 최적화 데이터베이스 구조를 활용할 수 있는 시간 구성 요소가 있나요?
• 사전 최적화 없이 필드 또는 행에 임시 쿼리를 만드는 기능을 원합니까?

실시간 분석에서 데이터 분석의 이점을 활용하는 산업 유형은 다양합니다. 예를 들어 금융, 운송 및 물류, 스마트 도시, 스마트 빌딩, 제조 운영, 자동차, 석유 및 가스 등이 있습니다.

시나리오

마케팅

새로운 캠페인을 구현하는 마케팅 전문가로서 실시간 분석을 사용하면 캠페인이 판매, 재고 및 물류에 미치는 즉각적인 영향을 분석할 수 있습니다. 몇 초의 대기 시간으로 Eventstream을 통해 KQL 데이터베이스로 대량의 데이터를 스트리밍한 다음, KQL 쿼리 세트를 사용하여 캠페인 성능을 분석하고 공유 가능한 Power BI 보고서에서 결과를 시각화할 수 있습니다. 이러한 인사이트를 사용하여 캠페인의 다양한 측면을 즉시 수정하고 효과를 실시간으로 쉽게 볼 수 있습니다. 또한 KQL 데이터베이스에 대한 보기 액세스 권한을 회사의 다른 팀(예: 재무 및 프로덕션 팀)에게 부여하여 스트리밍 데이터를 분석하고 그에 따라 제품의 비용 및 프로덕션을 조정할 수 있습니다.

Sales

글로벌 소매 체인에서 일하는 비즈니스 분석가는 들어오는 데이터를 분석하고 비즈니스의 주요 이해 관계자에게 인사이트를 전달할 책임이 있습니다. 제조업체, 운송업체, 공급업체 등 다양한 원본에서 데이터를 수집하고 저장할 수 있으며 구조화, 반구조화 및 비구조적 데이터와 같은 다양한 형식으로 데이터를 저장할 수 있습니다. 이 모든 실행 가능한 데이터는 KQL 데이터베이스에 캡처되어 스트리밍 데이터를 쿼리하고 비교할 수 있도록 수년간 보존할 수 있는 수십억 개의 레코드를 보유할 수 있는 확장 가능한 데이터 솔루션을 제공합니다. KQL 쿼리 세트를 사용하여 시계열 분석을 수행할 수 있습니다. 뿐만 아니라 육상 및 해상 경로의 지리 공간적 분석을 시각화하는 Power BI 보고서를 만들고, 변칙을 신속하게 감지하고, 대시보드에서 프로젝트 관리자와 협력하여 더 나은 비즈니스 의사 결정을 내릴 수 있습니다.

실시간 분석에서 작업하는 방법

실시간 분석에서 사용할 수 있는 기본 항목은 다음과 같습니다.

• 코드 없는 환경을 사용하여 실시간 이벤트를 캡처, 변환 및 다양한 대상으로 라우팅하기 위한 Eventstream 입니다.
• 데이터 스토리지 및 관리를 위한 KQL 데이터베이스입니다. KQL 데이터베이스에 로드된 데이터는 OneLake에서 액세스할 수 있으며 다른 패브릭 환경에 노출됩니다.
• 데이터에 대한 쿼리 결과를 실행하고, 보고, 사용자 지정하는 KQL 쿼리 세트입니다. KQL 쿼리 세트를 사용하면 나중에 사용할 쿼리를 저장하고, 다른 사용자와 쿼리를 내보내고 공유할 수 있으며, Power BI 보고서를 생성하는 옵션이 포함됩니다.

엔드투엔드 스트리밍 데이터 사용 및 분석 시나리오에서 이러한 항목이 함께 작동하는 방식 확인: 실시간 분석 자습서- 소개

다른 환경과의 통합

• 실시간 분석으로 데이터를 스트리밍하는 Event Hubs 클라우드 연결을 만듭니다.
• OneLake의 데이터는 다음과 같은 여러 가지 방법으로 실시간 분석에 의해 액세스됩니다.
  • OneLake의 데이터는 실시간 분석에서 바로 가기로 쿼리할 수 있습니다.
  • OneLake의 데이터를 실시간 분석으로 로드 할 수 있습니다.
  • 실시간 분석에 로드된 데이터는 OneLake에 하나의 논리적 복사본으로 반영됩니다.
• 실시간 분석에 로드된 데이터는 Power BI 보고서에서 시각화를 위한 기본 데이터로 사용할 수 있습니다.
• 실시간 분석에 로드된 데이터는 데이터 엔지니어 Spark Notebooks의 분석에 사용할 수 있습니다.
• 파이프라인을 사용하여 Data Factory에서 데이터 로드 이벤트를 트리거합니다.
• 데이터 흐름을 사용하여 데이터 로드 이벤트를 트리거합니다.

관련 콘텐츠

• Microsoft Fabric 이벤트 스트림 - 개요
• 실시간 분석과 Azure Data Explorer 비교
• 자습서: 실시간 분석
• KQL 쿼리 세트의 데이터 쿼리
• Kusto 쿼리 언어 개요