Azure Cosmos DB: 비 ETL 분석 사용 사례
적용 대상: 
NoSQL MongoDB Gremlin
Azure Cosmos DB는 운영 데이터에 대한 비 ETL 근 실시간 분석을 위한 다양한 분석 옵션을 제공합니다. 다음 옵션을 사용하여 Azure Cosmos DB 데이터에 대한 분석을 사용할 수 있습니다.
- Microsoft Fabric에서 Azure Cosmos DB 미러링
- Microsoft Azure Cosmos DB용 Azure Synapse Link
이러한 옵션에 대한 자세한 내용은 "Azure Cosmos DB 데이터에 대한 분석 및 BI"를 참조하세요.
Important
이제 Microsoft Fabric의 Azure Cosmos DB 미러링이 NoSql API에 대해 미리 보기 상태로 제공됩니다. 이 기능은 Azure Synapse Link의 모든 기능에 더 나은 분석 성능, Fabric OneLake를 사용하여 데이터 자산을 통합하는 기능, 델타 Parquet 형식을 사용하여 OneLake의 데이터에 대한 개방형 액세스를 제공합니다. Azure Synapse Link를 고려 중인 경우 미러링을 시도하여 조직에 대한 전반적인 적합성을 평가하는 것이 좋습니다. 미러링을 시작하려면 여기를 클릭합니다.
비 ETL 근 실시간 분석은 비즈니스에 다양한 가능성을 열어줍니다. 다음은 세 가지 샘플 시나리오입니다.
- 공급망 분석, 예측 및 보고
- 실시간 개인 설정
- IOT 시나리오에서 예측 유지 관리, 변칙 검색
공급망 분석, 예측 및 보고
연구 조사에 따르면, 공급망 운영에 빅 데이터 분석을 포함할 경우 주문 접수 후 발송에 걸리는 시간과 공급망 효율성이 향상됩니다.
제조업체는 레거시 ERP(Enterprise Resource Planning) 및 SCM(Supply Chain Management) 시스템의 제약을 극복하기 위해 클라우드 네이티브 기술을 도입하고 있습니다. 공급망에서 매분 점점 더 많은 양의 작동 데이터(주문, 배송, 트랜잭션 데이터)를 생성함에 따라 제조업체에는 운영 데이터베이스가 필요합니다. 이 운영 데이터베이스는 데이터 볼륨과 분석 플랫폼을 처리 할 수 있도록 스케일링되어 계속 앞서 나가는 데 활용할 수 있는 일정 수준의 실시간 컨텍스트 인텔리전스를 제공합니다.
다음 아키텍처에서는 공급망 분석에서 클라우드 네이티브 운영 데이터베이스로 Azure Cosmos DB를 사용하는 모습을 보여줍니다.
이전 아키텍처를 기반으로 다음과 같은 사용 사례를 달성할 수 있습니다.
- 예측 파이프라인 준비 및 학습:기계 학습 좌표 번역을 사용하여 작동 데이터에 대한 인사이트를 생성합니다. 이러한 방식으로 인벤토리와 운영 비용을 절감하고 주문부터 배송까지 걸리는 시간을 줄일 수 있습니다.
미러링 및 Synapse Link를 사용하면 수동 ETL 프로세스 없이 Azure Cosmos DB에서 변경되는 운영 데이터를 분석할 수 있습니다. 이러한 제품을 사용하면 추가 비용, 대기 시간 및 운영 복잡성을 줄일 수 있습니다. 또한 데이터 엔지니어와 데이터 과학자가 강력한 예측 파이프라인을 구축할 수 있습니다.
Microsoft Fabric 또는 Azure Synapse Analytics에서 Apache Spark 풀과의 네이티브 통합을 사용하여 Azure Cosmos DB에서 운영 데이터를 쿼리합니다. 복잡한 데이터 엔지니어링 없이 대화형 노트북 또는 예약된 원격 작업에서 데이터를 쿼리할 수 있습니다.
Microsoft Fabric 또는 Azure Synapse Analytics에서 Spark ML 알고리즘 및 AML(Azure Machine Learning) 통합을 사용하여 ML(기계 학습) 모델을 빌드합니다.
운영상 근 실시간 채점을 위해 모델 유추 후 결과를 Microsoft Azure Cosmos DB에 다시 씁니다.
작동 데이터: 공급망 팀에는 정확한 실시간 작동 데이터에 대한 유연한 맞춤형 보고서가 필요합니다. 이러한 보고서는 공급망 효율성, 수익성 및 생산성에 대한 스냅샷 보기를 얻는 데 필요합니다. 이를 통해 데이터 분석가와 기타 주요 관련자는 지속적으로 비즈니스를 재평가하고 조정할 영역을 식별하여 운영 비용을 절감할 수 있습니다.
Azure Cosmos DB용 미러링 및 Synapse Link를 사용하면 풍부한 BI(비즈니스 인텔리전스)/보고 시나리오를 사용할 수 있습니다.
T-SQL 언어의 완전한 표현력과 네이티브 통합을 사용하여 Azure Cosmos DB의 운영 데이터를 쿼리합니다.
Microsoft Fabric 또는 Azure Synapse Analytics에 통합된 Power BI를 통해 Azure Cosmos DB에 대한 자동 새로 고침 BI 대시보드를 모델링하고 게시합니다.
다음은 Microsoft Azure Cosmos DB에 일괄 처리 및 스트리밍 데이터 통합에 대한 몇 가지 지침입니다.
일괄 처리 데이터 통합 및 오케스트레이션: 공급망이 더욱 복잡해짐에 따라 공급망 데이터 플랫폼은 다양한 데이터 원본과 형식과 통합해야 합니다. Microsoft Fabric 및 Azure Synapse는 Azure Data Factory와 동일한 데이터 통합 엔진 및 환경으로 기본 제공됩니다. 이러한 통합을 통해 데이터 엔지니어는 별도의 오케스트레이션 엔진 없이도 풍부한 데이터 파이프라인을 만들 수 있습니다.
Azure Data Factory를 사용하여 Microsoft Azure Cosmos DB로 85개 이상의 지원되는 데이터 원본의 데이터를 이동합니다.
매핑 데이터 흐름을 사용한 관계-계층 및 계층-계층 매핑 을 포함하여 코드가 없는 ETL 파이프라인을 Microsoft Azure Cosmos DB에 작성합니다.
스트리밍 데이터 통합 및 처리: 산업용 IoT('매장 간', 연결된 물류 차량 등의 자산 추적 센서)가 성장함에 따라 인사이트 생성을 위해 기존의 느리게 이동하는 데이터와의 통합이 필요한 스트리밍 방식으로 생성되는 실시간 데이터가 급증하고 있습니다. Azure Stream Analytics는 광범위한 시나리오로 Azure에서 ETL과 처리 스트리밍에 권장되는 서비스입니다. Azure Stream Analytics는 Microsoft Azure Cosmos DB를 원시 데이터 싱크로 지원합니다.
실시간 개인 설정
오늘날 소매업체는 고객 및 비즈니스의 요구를 모두 충족하는 안전하고 확장 가능한 전자 상거래 솔루션을 구축해야 합니다. 이러한 전자 상거래 솔루션은 사용자 지정 제품 및 제안을 통해 고객을 참여시키고, 빠르고 안전하게 트랜잭션을 처리하며, 이행 및 고객 서비스에 집중해야 합니다. Microsoft Azure Cosmos DB와 최신 Microsoft Azure Cosmos DB용 Synapse Link를 통해 소매업체는 고객을 위한 맞춤형 추천을 실시간으로 생성할 수 있습니다. 이들은 즉각적인 인사이트를 얻기 위해 다음 아키텍처와 같이 지연 시간이 짧고 조정 가능한 일관성 설정을 사용합니다.
- 예측 파이프라인 준비 및 학습: Fabric 또는 Synapse Spark 및 기계 학습 모델을 사용하여 사업부나 고객 부문 전체의 운영 데이터에 대한 인사이트를 생성할 수 있습니다. 이는 최종 사용자 요구 사항에 맞는 대상 고객 세그먼트, 예측 최종 사용자 경험 및 대상 마케팅을 위한 맞춤형 제공으로 이어집니다. =
IOT 예측 유지 관리
산업 IOT 혁신은 기계의 가동 중지 시간을 대폭 줄이고 모든 산업 분야에서 전반적인 효율성을 높였습니다. 이러한 혁신 중 하나는 클라우드 에지의 기계에 대한 예측 유지 관리 분석입니다.
다음은 IoT 예측 유지 관리에서 클라우드 네이티브 HTAP 기능을 사용하는 아키텍처입니다.
예측 파이프라인 준비 및 학습: IoT 디바이스 센서의 기록 작동 데이터를 사용하여 변칙 감지기와 같은 예측 모델을 학습할 수 있습니다. 변칙 감지기는 실시간 모니터링을 위해 다시 에지에 배포됩니다. 이러한 선순환 고리는 예측 모델의 지속적인 재학습을 가능하게 합니다.
작업 보고: 디지털 트윈 이니셔티브의 성장으로 기업들은 수많은 센서에서 방대한 양의 작동 데이터를 수집하여 각 머신의 디지털 사본을 구축합니다. 이 데이터를 통해 BI는 최신 핫 데이터 외에도 과거 데이터에 대한 추세를 이해할 수 있습니다.