Azure Cosmos DB용 Azure Synapse Link: 근 실시간 분석 사용 사례

  • 아티클

적용 대상: Nosql Mongodb Gremlin

Azure Cosmos DB용 Azure Synapse Link 는 운영 데이터에 대해 거의 실시간으로 분석을 실행할 수 있는 클라우드 네이티브 HTAP(하이브리드 트랜잭션 및 분석 처리) 기능입니다. Synapse Link는 Azure Cosmos DB와 Azure Synapse Analytics 간에 긴밀한 원활한 통합을 만듭니다.

운영 데이터에 대한 거의 실시간 분석을 위해 이 클라우드 네이티브 HTAP 기능을 활용할 수 있는 업계 사용 사례를 이해하려고 할 수 있습니다. 다음은 Azure Cosmos DB용 Azure Synapse Link에 대한 세 가지 일반적인 사용 사례입니다.

  • 공급망 분석, 예측 및 보고
  • 실시간 개인 설정
  • IOT 시나리오의 예측 기본 테넌트, 변칙 검색

참고 항목

Microsoft Azure Cosmos DB용 Azure Synapse Link는 엔터프라이즈 팀이 근 실시간 분석을 실행하려는 시나리오를 대상으로 합니다. 이러한 분석은 Azure Cosmos DB에서 빌드된 트랜잭션 애플리케이션에서 생성된 운영 데이터에 대해 ETL 없이 실행됩니다. 이는 워크로드 관리, 높은 동시성, 여러 데이터 원본의 지속성 집계와 같은 기존 데이터 웨어하우스 요구 사항이 있는 경우 별도의 데이터 웨어하우스에 대한 필요성을 대체하지 않습니다.

참고 항목

Gremlin API용 Synapse Link가 현재 미리 보기로 제공됩니다. Azure CLI를 사용하여 새 그래프 또는 기존 그래프에서 Synapse Link를 사용하도록 설정할 수 있습니다. 구성하는 방법에 대한 자세한 내용은 여기를 클릭하세요.

공급망 분석, 예측 및 보고

연구 결과에 따르면 공급망 운영에 빅 데이터 분석을 포함하면 순서-주기 배달 시간 및 공급망 효율성이 향상됩니다.

제조업체는 레거시 ERP(Enterprise Resource Planning) 및 SCM(Supply Chain Management) 시스템의 제약을 극복하기 위해 클라우드 네이티브 기술을 도입하고 있습니다. 공급망이 1분마다(주문, 선적, 트랜잭션 데이터) 운영 데이터의 볼륨을 증가시키는 경우 제조업체는 운영 데이터베이스가 필요합니다. 이 운영 데이터베이스는 데이터 볼륨과 분석 플랫폼을 처리하도록 크기를 조정하여 실시간 상황별 인텔리전스 수준을 높여 곡선보다 앞서 나가야 합니다.

다음 아키텍처에서는 Azure Cosmos DB를 클라우드 네이티브 운영 데이터베이스로 활용하고 공급망 분석에서 Synapse Link를 활용하는 기능을 보여 줍니다.

Azure Synapse Link for Azure Cosmos DB in supply chain analytics

이전 아키텍처에 따라 Azure Cosmos DB용 Synapse Link를 사용하여 다음과 같은 사용 사례를 달성할 수 있습니다.

  • 예측 파이프라인 준비 및 학습: 기계 학습 번역을 사용하여 공급망 전체의 운영 데이터에 대한 인사이트를 생성합니다. 이렇게 하면 재고, 운영 비용을 절감하고 고객의 배송 주문 시간을 줄일 수 있습니다.

    Synapse Link를 사용하면 수동 ETL 프로세스 없이 Azure Cosmos DB에서 변화하는 운영 데이터를 분석할 수 있습니다. 추가 비용, 대기 시간 및 운영 복잡성을 줄일 수 있습니다. Synapse Link를 사용하면 데이터 엔지니어와 데이터 과학자가 강력한 예측 파이프라인을 빌드할 수 있습니다.

    • Azure Synapse Analytics에서 Apache Spark 풀과의 네이티브 통합을 활용하여 Microsoft Azure Cosmos DB 분석 저장소에서 작동 데이터를 쿼리합니다. 복잡한 데이터 엔지니어링 없이 대화형 노트북 또는 예약된 원격 작업에서 데이터를 쿼리할 수 ​​있습니다.

    • Azure Synapse Analytics에서 Spark ML 알고리즘 및 Azure ML 통합을 사용하여 ML(기계 학습) 모델을 구축합니다.

    • 운영상 근 실시간 채점을 위해 모델 유추 후 결과를 Microsoft Azure Cosmos DB에 다시 씁니다.

  • 작동 데이터: 공급망 팀에는 정확한 실시간 작동 데이터에 대한 유연한 맞춤형 보고서가 필요합니다. 이러한 보고서는 공급망 효율성, 수익성 및 생산성에 대한 스냅샷 보기를 얻는 데 필요합니다. 이를 통해 데이터 분석가 및 기타 주요 이해 관계자가 지속적으로 비즈니스를 재평가하고 운영 비용을 줄이기 위해 조정할 영역을 식별할 수 있습니다.

    Azure Cosmos DB용 Synapse Link를 사용하면 풍부한 BI(비즈니스 인텔리전스)/보고 시나리오를 사용할 수 있습니다.

    • 서버리스 SQL 풀과의 네이티브 통합 및 T-SQL 언어의 전체 표현을 사용하여 Microsoft Azure Cosmos DB 분석 스토리지에서 작동 데이터를 쿼리합니다.

    • 익숙한 BI 도구에 대한 서버리스 SQL 풀 지원을 통해 Azure Cosmos DB를 통해 자동 새로 고침 BI 대시보드를 모델링하고 게시합니다. Azure Analysis Services, Power BI Premium 등을 예로 들 수 있습니다.

다음은 Microsoft Azure Cosmos DB에 일괄 처리 및 스트리밍 데이터 통합에 대한 몇 가지 지침입니다.

  • 일괄 처리 데이터 통합 및 오케스트레이션: 공급망이 점점 더 복잡해지면 공급망 데이터 플랫폼은 다양한 데이터 원본 및 형식과 통합되어야 합니다. Azure Synapse는 Azure Data Factory와 동일한 데이터 통합 엔진 및 환경으로 기본 제공됩니다. 이러한 통합을 통해 데이터 엔지니어는 별도의 오케스트레이션 엔진 없이 풍부한 데이터 파이프라인을 만들 수 있습니다.

  • 스트리밍 데이터 통합 및 처리: 산업용 IoT('매장 간', 연결된 물류 선단 등에서 자산을 추적하는 센서)의 증가와 함께, 인사이트를 생성하기 위해 기존의 느린 이동 데이터와 통합해야 하는 스트리밍 방식으로 실시간 데이터가 급증하고 있습니다. Azure Stream Analytics는 다양한 시나리오를 사용하여 Azure 에서 ETL을 스트리밍하고 처리하는 데 권장되는 서비스입니다. Azure Stream Analytics는 Azure Cosmos DB를 네이티브 데이터 싱크로 지원합니다.

실시간 개인 설정

오늘날 소매업체는 고객과 비즈니스의 요구를 충족하는 안전하고 확장 가능한 전자 상거래 솔루션을 구축해야 합니다. 이러한 전자 상거래 솔루션은 사용자 지정된 제품 및 제품을 통해 고객을 참여시키고, 트랜잭션을 빠르고 안전하게 처리하며, 처리 및 고객 서비스에 집중해야 합니다. Microsoft Azure Cosmos DB와 최신 Microsoft Azure Cosmos DB용 Synapse Link를 통해 소매업체는 고객을 위한 맞춤형 추천을 실시간으로 생성할 수 있습니다. 다음 아키텍처와 같이 즉각적인 인사이트를 위해 대기 시간이 짧고 튜닝 가능한 일관성 설정을 사용합니다.

Azure Synapse Link for Azure Cosmos DB in real-time personalization

Azure Cosmos DB용 Synapse Link 사용 사례:

  • 예측 파이프라인 준비 및 학습: Synapse Spark 및 기계 학습 모델을 사용하여 사업부 또는 고객 세그먼트에서 운영 데이터에 대한 인사이트를 생성할 수 있습니다. 이는 최종 사용자 요구 사항에 맞게 대상 고객 세그먼트, 예측 최종 사용자 환경 및 대상 마케팅에 대한 맞춤형 배달로 변환됩니다.

IOT 예측 유지 관리

산업 IOT 혁신은 기계의 가동 중지 시간을 대폭 줄이고 모든 산업 분야에서 전반적인 효율성을 높였습니다. 이러한 혁신 중 하나는 클라우드의 가장자리에 있는 기계에 대한 예측 기본 테넌스 분석입니다.

다음은 IoT 예측 기본 테넌트에서 Azure Cosmos DB용 Azure Synapse Link의 클라우드 네이티브 HTAP 기능을 활용하는 아키텍처입니다.

Azure Synapse Link for Azure Cosmos DB in IOT predictive maintenance

Azure Cosmos DB용 Synapse Link 사용 사례:

  • 예측 파이프라인 준비 및 학습: IoT 디바이스 센서의 기록 운영 데이터를 사용하여 변칙 탐지기와 같은 예측 모델을 학습시킬 수 있습니다. 변칙 감지기는 실시간 모니터링을 위해 다시 에지에 배포됩니다. 이러한 선순환 루프를 사용하면 예측 모델을 지속적으로 재학습할 수 있습니다.

  • 작업 보고: 디지털 트윈 이니셔티브의 성장으로 기업들은 수많은 센서에서 방대한 양의 작동 데이터를 수집하여 각 머신의 디지털 사본을 구축합니다. 이 데이터를 통해 BI는 최근 핫 데이터에 대한 실시간 애플리케이션 외에도 기록 데이터에 대한 추세를 이해해야 합니다.

샘플 시나리오: Azure Cosmos DB용 HTAP

거의 10년 동안 Azure Cosmos DB는 탄력적 확장, 턴키 글로벌 배포, 짧은 대기 시간 및 트랜잭션 워크로드의 두 읽기 및 쓰기의 고가용성을 위해 다중 지역 쓰기 복제본(replica)tion이 필요한 중요 업무용 애플리케이션에 수천 명의 고객이 사용했습니다.

다음 목록에서는 Azure Cosmos DB를 사용하여 운영 데이터에서 지원되는 다양한 워크로드 패턴의 개요를 보여 줍니다.

  • 실시간 앱 및 서비스
  • 이벤트 스트림 처리
  • BI 대시보드
  • 빅 데이터 분석
  • 기계 학습

Azure Synapse Link를 통해 Microsoft Azure Cosmos DB는 트랜잭션 워크로드를 지원할 뿐만 아니라 기록 작동 데이터에 대해 근 실시간 분석 워크로드를 수행할 수도 있습니다. ETL 요구 사항 없이 발생하며 트랜잭션 워크로드에서 성능 격리가 보장됩니다.

다음 이미지는 Azure Cosmos DB를 사용하는 워크로드 패턴을 보여 줍니다. Azure Synapse Link for Azure Cosmos DB workload patterns

인벤토리 관리 플랫폼의 트랜잭션 및 분석 요구 사항을 모두 지원하는 단일 실시간 데이터베이스로 Microsoft Azure Cosmos DB를 선택하는 이점을 설명하기 위해 전 세계 20개 국가/지역에서 사업을 운영 중인 전자 상거래 회사 CompanyXYZ를 예로 들어 보겠습니다.

  • CompanyXYZ의 핵심 사업은 인벤토리 시스템에 의존하므로 가용성 및 신뢰성이 핵심 기둥 요구 사항입니다. Azure Cosmos DB 사용의 이점:

  • CompanyXYZ의 공급망 파트너는 서로 다른 지리적 위치에 있지만 현지 운영 지원을 위해 전 세계 제품 인벤토리의 단일 보기가 필요할 수 있습니다. 여기에는 다른 공급망 파트너가 실시간으로 수행한 업데이트를 읽을 수 있어야 하는 필요성이 포함됩니다. 처리량이 높아 다른 파트너와의 충돌에 대해 걱정하지 않고 업데이트할 수도 있습니다. Azure Cosmos DB 사용의 이점:

    • 고유한 다중 지역 쓰기 복제본(replica) 프로토콜 및 래치 없는 쓰기 최적화 트랜잭션 저장소를 통해 Azure Cosmos DB는 전역적으로 99번째 백분위수에서 인덱싱된 읽기 및 쓰기 모두에 대해 10ms 미만의 대기 시간을 보장합니다.

    • 트랜잭션 저장소에서 실시간 인덱싱을 사용하여 일괄 처리량 및 스트리밍 데이터 피드를 모두 높은 처리량으로 수집합니다.

    • Microsoft Azure Cosmos DB 트랜잭션 저장소는 비즈니스 요구에 따라 가용성과 성능을 절충할 수 있도록 강력하고 최종적인 2가지 일관성 수준보다 더 많은 3가지 옵션을 제공합니다.

  • CompanyXYZ의 공급망 파트너는 수억에서 수백만 개의 요청/s에 이르는 매우 변동이 많은 트래픽 패턴을 가지고 있으므로 재고 관리 플랫폼은 예기치 않은 트래픽 급증을 처리해야 합니다. Azure Cosmos DB 사용의 이점:

    • Azure Cosmos DB의 트랜잭션 저장소는 수평 분할을 사용하여 스토리지 및 처리량의 탄력적 확장성을 지원합니다. Autopilot 모드로 구성된 컨테이너 및 데이터베이스는 워크로드의 가용성, 대기 시간, 처리량 또는 성능에 영향을 주지 않고 애플리케이션 요구 사항에 따라 프로비전된 처리량을 자동으로 즉시 확장할 수 있습니다.

  • CompanyXYZ는 공급망 파트너, 사업부 및 기능 전반에서 분석 및 인사이트를 사용할 수 있도록 시스템 전체의 기록 인벤토리 데이터를 보관하는 보안 분석 플랫폼을 설정해야 합니다. 분석 플랫폼은 운영 인벤토리 데이터에 대한 시스템, 기존 BI/보고 사용 사례, 고급 분석 사용 사례 및 예측 지능형 솔루션 전반에서 협업을 사용하도록 설정해야 합니다. Azure Cosmos DB용 Synapse Link 사용의 이점:

    • 완전히 격리된 열 저장소인 Azure Cosmos DB 분석 저장소를 사용하여 Synapse Link를 사용하면 대규모로 전역적으로 분산된 운영 데이터에 대해 Azure Synapse Analytics에서 ETL(추출-변환-로드) 분석을 수행할 수 없습니다. 비즈니스 분석가, 데이터 엔지니어 및 데이터 과학자는 이제 상호 운용 가능한 방식으로 Synapse Spark 또는 Synapse SQL을 사용하여 Azure Cosmos DB의 트랜잭션 워크로드 성능에 영향을 주지 않고 거의 실시간으로 비즈니스 인텔리전스, 분석 및 기계 학습 파이프라인을 실행할 수 있습니다. 자세한 내용은 Azure Cosmos DB에서 Synapse Link의 이점을 참조하세요.

다음 단계

자세한 내용은 다음 문서를 참조하세요.