데이터가 기하급수적으로 증가함에 따라 조직은 Azure의 무한한 컴퓨팅, 스토리지 및 분석 역량에 의존하여 데이터를 확장, 스트리밍, 예측 및 확인합니다. Analytics 솔루션은 대량의 데이터를 유용한 BI(비즈니스 인텔리전스) (예: 보고서 및 시각화) 및 독창적인 AI(인공 지능)(예: 기계 학습 기반 예측)로 전환합니다.
귀사에서 클라우드 기반 분석 도구를 평가하기 시작한 경우이든 현재 구현을 확장하려고 하는 경우이든 Azure에는 많은 옵션이 제공됩니다. 워크플로는 일반적인 접근 방식에 대해 알아보고 클라우드 사고 방식을 중심으로 프로세스와 역할을 조정하는 것으로 시작됩니다.
데이터는 일괄 처리로 또는 실시간으로, 온-프레미스에서 또는 클라우드에서 처리할 수 있지만 분석 솔루션의 목표는 대규모로 데이터를 활용하는 것입니다. 점점 더 많은 조직에서 사람, 기계 및 IoT(사물 인터넷)에서 생성되는 모든 관계형 및 비관계형 데이터에 대한 단일 정보 소스를 만들려고 합니다. 빅 데이터 아키텍처 또는 IoT 아키텍처를 사용하여 원시 데이터를 구조화된 형식으로 변환한 다음, 분석 데이터 저장소로 이동하는 것이 일반적입니다. 이런 저장소는 다양한 인사이트를 주는 분석 솔루션을 강화할 수 있는 단일 정보 소스가 됩니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
위의 다이어그램은 일반적인 기본/기준 분석 구현을 보여 줍니다. Azure에서 빌드할 수 있는 실제 솔루션을 찾으려면 이 섹션에 제공된 아키텍처 를 참조하세요.
분석 아키텍처 및 가이드 살펴보기
이 섹션의 문서에는 Azure에서 배포하고 프로덕션 등급 솔루션 및 가이드로 확장할 수 있는 완전히 개발된 아키텍처가 포함되어 있습니다. 이는 Azure에서 분석 기술을 사용하는 방법에 대한 중요한 결정을 내리는 데 도움이 될 수 있습니다. 분석 POC 개발을 계획할 때 가능한 것을 맛볼 수 있는 솔루션 아이디어를 검토할 수도 있습니다.
아키텍처
- Microsoft Fabric을 사용한 분석 엔드 투 엔드 - Microsoft Fabric의 통합 기능을 사용하여 최신 분석 플랫폼을 빌드합니다.
- 데이터 웨어하우징 및 분석 - 여러 원본의 대량 데이터를 통합 분석 플랫폼에 통합합니다.
- Microsoft Fabric을 사용하여 엔터프라이즈 BI 솔루션 설계 - Microsoft Fabric을 사용하여 엔터프라이즈 비즈니스 인텔리전스 솔루션 디자인
- 거의 실시간 레이크하우스 데이터 처리 - 거의 실시간 데이터 레이크하우스 처리를 위해 Azure Synapse Analytics 및 Azure Data Lake Storage를 사용합니다.
- MongoDB Atlas와 Azure Synapse Analytics의 실시간 동기화 - MongoDB Atlas 데이터를 Azure Synapse Analytics에 실시간으로 동기화합니다.
- Azure Databricks를 사용한 스트림 처리 - Azure Databricks 를 사용하여 엔드 투 엔드 스트림 처리 파이프라인을 만듭니다.
- Azure Stream Analytics를 사용한 스트림 처리 - 데이터를 수집하고, 레코드의 상관 관계를 지정하고, 롤링 평균을 계산하는 스트림 처리 파이프라인을 빌드합니다.
- 중소기업을 위한 최신 데이터 웨어하우스 - 중소기업 을 위해 설계된 최신 데이터 웨어하우스 솔루션을 빌드합니다.
솔루션 아이디어
- Azure Databricks를 사용하여 수집, ETL 및 스트림 처리 파이프라인 - 데이터 레이크 수집을 간소화하기 위해 일괄 처리 및 스트리밍 데이터에 대한 ETL 파이프라인을 만듭니다.
- Azure Databricks를 사용한 최신 분석 아키텍처 - 최신 데이터 아키텍처를 사용하여 데이터를 수집, 처리, 분석 및 시각화합니다.
- 중소기업을 위한 최신 데이터 플랫폼 - Microsoft Fabric 및 Azure Databricks를 사용하여 중소기업을 위한 최신 데이터 플랫폼 아키텍처를 빌드합니다.
- Azure Data Explorer를 사용한 실시간 분석 - Azure Data Explorer 및 Azure Service Bus를 사용하여 실시간으로 데이터를 분석합니다.
Guides
기술 선택
- 분석 및 보고 - Azure에서 데이터 분석 및 시각화 옵션을 비교합니다.
- 일괄 처리 - 빅 데이터 워크로드에 대한 일괄 처리 기술을 평가합니다.
- 스트림 처리 - 실시간 분석을 위해 스트림 처리 기술을 비교합니다.
- 분석 데이터 저장소 선택 - 올바른 분석 데이터 저장소를 선택하는 방법에 대한 지침입니다.
- Microsoft Fabric에서 분석 데이터 저장소를 선택합니다. Microsoft Fabric 에서 데이터 저장소를 선택하는 방법에 대한 지침입니다.
Azure 데이터 플랫폼의 재해 복구
- 개요 - Azure 데이터 플랫폼에 대한 재해 복구 전략의 개요입니다.
- 아키텍처 - Azure 데이터 플랫폼의 재해 복구를 위한 아키텍처 패턴입니다.
- 시나리오 세부 정보 - 재해 복구를 구현하기 위한 자세한 시나리오입니다.
- 권장 사항 - 재해 복구를 위한 모범 사례 권장 사항입니다.
Azure의 분석에 대해 알아보기
Azure에서 분석을 처음 접하는 경우 별도의 비용이 없는 온라인 교육 플랫폼인 Microsoft Learn을 사용하여 자세히 알아볼 수 있습니다. 특정 제품 및 서비스에 대한 비디오, 자습서 및 실습 학습과 개발자 또는 데이터 분석가와 같은 직무 역할에 기반한 학습 경로를 찾을 수 있습니다.
다음과 같이 시작하는 데 도움이 되는 몇 가지 리소스가 있습니다.
역할별 학습 경로
- 데이터 분석가: Microsoft 데이터 분석 시작
- 데이터 엔지니어: Azure Databricks를 사용하여 데이터 분석 솔루션 구현
- 데이터 과학자: Azure Databricks를 사용하여 기계 학습 솔루션 빌드
조직의 준비 상태
조직이 클라우드에 익숙하지 않다면 클라우드 채택 프레임워크가 시작하는 데 도움이 될 수 있습니다. 이 설명서 및 모범 사례 컬렉션은 클라우드 채택 여정을 가속화하도록 설계되고 Microsoft에서 입증된 지침을 제공합니다. 클라우드 규모 분석에 대한 자세한 내용은 클라우드 규모 분석을 참조하세요.
Azure에서 분석 솔루션의 품질을 보장하려면 Azure Well-Architected Framework를 따르는 것이 좋습니다. 여기에는 아키텍처 우수성을 추구하는 조직을 위해 관행으로 인정되는 지침이 제공되고 비용 최적화 Azure 솔루션을 설계, 프로비전 및 모니터링하는 방법에 대한 설명이 있습니다.
Well-Architected Framework 핵심 요소에 맞게 조정된 데이터 워크로드 지침은 데이터 워크로드에 대한 Azure Well-Architected Framework를 참조하세요.
프로덕션 경로
Azure에서 분석을 진행하는 과정에서 가장 먼저 내려야 할 결정 중 하나는 데이터 저장 방법을 아는 것입니다. 그런 다음, 시나리오에 가장 적합한 데이터 분석 기술을 선택할 수 있습니다.
주요 결정 사항은 다음과 같습니다.
데이터 스토리지: 데이터 구조 및 쿼리 패턴에 따라 데이터 레이크, 데이터 웨어하우스 또는 레이크하우스 중에서 선택합니다. 분석 워크로드를 구동하는 데이터베이스 솔루션을 선택하고 디자인하는 방법에 대한 지침은 데이터베이스 아키텍처 디자인을 참조하세요.
처리 모델: 일괄 처리, 스트림 처리 또는 조합이 워크로드 요구 사항에 가장 적합한지 여부를 결정합니다.
분석 도구: 팀의 기술 및 비즈니스 요구 사항에 맞는 BI 및 AI 기술을 선택합니다.
분석 솔루션에 대한 다양한 아키텍처 스타일을 보려면 아키텍처를 참조하세요.
모범 사례
고품질 분석은 강력하고 신뢰할 수 있는 데이터에서 시작됩니다. 가장 높은 수준에서 정보 보안 관행은 전송 중 및 미사용 상태의 데이터를 보호하는 데 유용합니다. 해당 데이터에 대한 액세스도 신뢰할 수 있어야 합니다. 신뢰할 수 있는 데이터는 다음을 구현하는 설계를 의미합니다.
거버넌스 정책 - 명확한 데이터 소유권, 분류 및 액세스 정책을 정의합니다.
ID 및 액세스 관리 - 역할 기반 액세스 제어 및 최소 권한 원칙을 구현합니다.
네트워크 보안 제어 - 서비스 간의 데이터 흐름을 보호하고 무단 액세스를 방지합니다.
데이터 보호 - 미사용 및 전송 중인 데이터를 암호화합니다.
플랫폼 수준에서 다음 빅 데이터 모범 사례는 Azure에서 신뢰할 수 있는 분석에 기여합니다.
데이터 수집 오케스트레이션 - Azure Data Factory 또는 Microsoft Fabric 파이프라인에서 지원하는 것과 같은 데이터 워크플로 또는 파이프라인 솔루션을 사용합니다.
데이터 처리 - 분산 데이터 저장소, 더 많은 양의 데이터 및 광범위한 형식을 지원하는 빅 데이터 접근 방식을 사용합니다.
중요한 데이터를 조기에 스크러빙 - 데이터 레이크에 저장하지 않도록 수집 워크플로의 일부로 중요한 데이터를 제거하거나 마스킹합니다.
총 비용 고려 - 필요한 컴퓨팅 노드의 단위당 비용과 해당 노드를 사용하여 작업을 완료하는 분당 비용의 균형을 유지합니다.
통합 데이터 레이크 만들기 - 구조적, 반구조적 또는 비구조적이든 관계없이 여러 형식의 파일에 대한 스토리지를 결합합니다. Azure Data Lake Storage Gen2를 단일 진실의 원천으로 사용합니다. 예를 들어 최고 전문가 조직(Center of Excellence, COE)의 BI 솔루션 아키텍처를 참조하세요.
분석을 통해 최신 상태 유지
Azure 분석 서비스는 최신 데이터 문제를 해결하기 위해 진화하고 있습니다. 최신 업데이트 및 계획된 기능에 대한 정보를 계속 확인하세요.
Azure 제품 및 기능에 대한 최신 업데이트를 가져옵니다.
다음 주요 분석 서비스를 최신 상태로 유지합니다.
추가 리소스
Analytics는 광범위한 범주이며 다양한 솔루션을 다룹니다. 다음 리소스는 Azure에 대해 자세히 알아보는 데 도움이 될 수 있습니다.
하이브리드
대부분의 조직은 데이터가 온-프레미스와 클라우드 모두에서 호스트되므로 분석에 대한 하이브리드 접근 방식이 필요합니다. 조직은 종종 온-프레미스 데이터 솔루션을 클라우드로 확장합니다. 환경을 연결하려면 조직은 하이브리드 네트워크 아키텍처를 선택해야 합니다.
주요 하이브리드 분석 시나리오:
- 메인프레임 현대화: 메인프레임 및 미드레인지 데이터 현대화 - 레거시 데이터 원본을 최신 분석 플랫폼과 통합합니다.
- 온-프레미스 통합: 통합 하이브리드 및 다중 클라우드 작업 - 온-프레미스 데이터베이스를 클라우드 분석에 연결합니다.
- 에지 분석: 에지에서 데이터를 처리하고 클라우드에서 인사이트를 집계합니다.
실시간 분석
실시간 분석을 통해 조직은 데이터가 도착할 때 데이터를 작업할 수 있습니다. Azure에서 실시간 분석을 시작하는 데 도움이 되는 몇 가지 리소스는 다음과 같습니다.
- 빅 데이터 아키텍처에 대한 실시간 분석 - 대규모 스트리밍 데이터를 처리하고 분석합니다.
- Azure Data Explorer를 사용한 IoT 분석 - 실시간으로 IoT 원격 분석 데이터를 분석합니다.
- Azure Stream Analytics를 사용하여 스트림 처리 - 서버리스 스트리밍 솔루션을 빌드합니다.
- Apache Spark를 사용하여 Azure Databricks - 엔터프라이즈급 분석을 사용하여 최신 분석 아키텍처를 만듭니다.
Azure 아키텍처 센터에서 더 많은 분석 예 찾아보기
AWS 또는 Google Cloud 전문가
다음 문서는 Azure 분석 옵션을 다른 클라우드 서비스와 비교하여 빠르게 성능을 향상시키는 데 도움이 될 수 있습니다.