다음 아키텍처는 분석가의 Azure Synapse를 사용한 엔드투엔드 분석 시나리오에서 확장됩니다. Azure Machine Learning에서 사용자 지정 기계 학습(ML) 모델을 학습하고 Microsoft Power Platform을 사용하여 빌드된 사용자 지정 애플리케이션으로 구현할 수 있습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
워크플로
워크플로는 다음 단계로 구성됩니다.
- 수집
- Store
- 모델 학습 및 배포
- 사용
수집
수집: Azure Synapse 파이프라인을 사용하여 온-프레미스와 클라우드 모두에서 다양한 원본으로부터 일괄 처리된 데이터를 가져옵니다. 두 개의 데이터 수집 흐름(스트리밍 및 일괄 처리)이 있는 람다 아키텍처입니다. 여기에 설명되어 있습니다.
- 스트리밍: 이전 아키텍처 다이어그램의 위쪽 절반에는 스트리밍 데이터 흐름(예: 빅 데이터 스트림 및 IoT 디바이스)이 있습니다.
- Azure Event Hubs 또는 Azure IoT Hub를 사용하여 클라이언트 애플리케이션 또는 IoT 디바이스에서 생성된 데이터 스트림을 수집할 수 있습니다. Event Hubs 또는 IoT Hub는 수신된 이벤트 시퀀스를 유지하면서 스트리밍 데이터를 수집 및 저장합니다. 소비자는 허브 엔드포인트에 연결하여 처리할 메시지를 검색할 수 있습니다.
- Batch: 아키텍처 다이어그램의 아래쪽 절반에서 데이터는 다음과 같은 일괄 처리로 수집되고 처리됩니다.
구조화되지 않은데이터(예: 비디오, 이미지, 오디오 및 자유 텍스트)
반구조화된 데이터(예: JSON, XML, CSV 및 로그)
구조화된 데이터(예: 관계형 데이터베이스 및 Azure 데이터 서비스)
Azure Synapse Link를 통해 Microsoft Azure Cosmos DB와 Azure Synapse Analytics가 긴밀하게 통합됩니다. Azure Synapse Pipelines는 미리 정의된 일정에 따라 또는 이벤트에 대한 응답으로 트리거될 수 있습니다. REST API를 호출하여 트리거될 수도 있습니다.
Store
수집된 데이터를 원시 형식으로 직접 가져온 다음 Azure Data Lake에서 변환할 수 있습니다. 큐레이팅되고 관계형 구조로 변환된 데이터는 Azure Synapse Analytics에서 사용할 수 있도록 표시될 수 있습니다.
모델 학습 및 배포
Machine Learning: 모델을 더 빠르게 빌드하고 배포하기 위한 엔터프라이즈급 ML 서비스를 제공합니다. 모든 기술 수준의 사용자에게 낮은 코드 디자이너, 자동화된 ML 및 호스팅된 Jupyter Notebook 환경을 제공합니다. 모델은 Azure Kubernetes Service의 실시간 엔드포인트 또는 Machine Learning 관리 엔드포인트로 배포할 수 있습니다. ML 모델의 일괄 유추를 위해 Machine Learning 파이프라인을 사용할 수 있습니다.
사용
Machine Learning에 일괄 처리되거나 실시간으로 게시된 모델은 낮은 코드 Power Apps 플랫폼을 사용하여 빌드된 사용자 지정 애플리케이션에서 사용할 수 있는 REST 엔드포인트를 생성할 수 있습니다. 또한 Power BI 보고서에서 실시간 Machine Learning 엔드포인트를 호출하여 비즈니스 보고서에 예측을 포함할 수도 있습니다.
참고 항목
Machine Learning 및 Microsoft Power Platform 스택에는 데이터를 직접 수집할 수 있도록 하는 다양한 기본 제공 커넥터가 있습니다. 이러한 커넥터는 최소 실행 가능한 일회성 제품(MVP)에 유용할 수 있습니다. 그러나, 아키텍처의 "수집" 및 "저장" 섹션은 다른 원본에서 대규모로 데이터를 소싱하고 저장하기 위해 표준화된 데이터 파이프라인의 역할을 승격시킵니다. 이러한 패턴은 일반적으로 엔터프라이즈 데이터 플랫폼 팀에 의해 구현되고 유지 관리됩니다.
구성 요소
다음 구성요소를 사용할 수 있습니다.
Microsoft Power Platform 서비스
- Power Platform: 데이터 분석, 솔루션 구축, 프로세스 자동화 및 가상 에이전트 만들기를 위한 도구 모음입니다. 여기에는 Power Apps, Power Automate, Power BI 및 Microsoft Copilot Studio(이전의 Power Virtual Agents)가 포함됩니다.
- Power Apps: 앱, 서비스, 커넥터 및 데이터 플랫폼의 제품군입니다. 비즈니스 요구 사항에 맞는 사용자 지정형 앱을 빌드할 수 있는 신속한 애플리케이션 개발 환경을 제공합니다.
- Power Automate: 즐겨 사용하는 앱과 서비스 간에 자동화된 워크플로를 만드는 데 도움이 되는 서비스입니다. 파일 동기화, 알림 받기, 데이터 수집 등에 사용합니다.
- Power BI: 관련 없는 데이터 원본을 시각적으로 몰입도가 뛰어나고 일관된 대화형 정보로 변환하는 소프트웨어 서비스, 앱, 커넥터 컬렉션입니다.
Azure 서비스
- Machine Learning: 모델을 빠르게 빌드하고 배포하기 위한 엔터프라이즈급 ML 서비스입니다. 모든 기술 수준의 사용자에게 낮은 코드 디자이너, 자동화된 ML 및 호스팅된 Jupyter Notebook 환경을 제공하여 개인이 선택한 IDE를 지원합니다.
- Machine Learning 관리 엔드포인트: 기본 인프라를 만들고 관리할 필요 없이 모델을 배포할 수 있는 온라인 엔드포인트입니다.
- Azure Kubernetes Service: 기계 학습은 다양한 컴퓨팅 대상에서 다양한 지원을 제공합니다. Azure Kubernetes Service는 엔터프라이즈급 실시간 모델 엔드포인트에 매우 적합한 대상 중 하나입니다.
- Azure Data Lake: Hadoop 호환 파일 시스템입니다. 통합된 계층 구조 네임스페이스와 Azure Blob Storage의 대규모 확장성과 경제성이 있습니다.
- Azure Synapse Analytics: 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅데이터 분석을 결합하는 무제한 분석 서비스입니다.
- Event Hubs 및 IoT Hub: 두 서비스 모두 클라이언트 애플리케이션 또는 IoT 디바이스에서 생성된 데이터 스트림을 수집합니다. 그런 다음 수신된 이벤트의 순서를 보존하면서 스트리밍 데이터를 수집 및 저장합니다. 소비자는 허브 엔드포인트에 연결하여 처리할 메시지를 검색할 수 있습니다.
플랫폼 서비스
Azure 솔루션의 품질을 개선하려면 Azure Well-Architected Framework의 권장 사항 및 지침을 따릅니다. 이 프레임워크는 다음과 같이 뛰어난 아키텍처의 5가지 핵심 요소로 이루어져 있습니다.
- 비용 최적화
- 운영 우수성
- 성능 효율성
- 안정성
- 보안
이러한 권장 사항을 준수하는 디자인을 만들려면 다음 서비스를 고려합니다.
- Microsoft Entra ID: Azure 워크로드 간 ID 서비스, Single Sign-On 및 다단계 인증.
- Microsoft Cost Management: Azure 워크로드에 대한 재무 거버넌스.
- Azure Key Vault: 보안 자격 증명 및 인증서 관리.
- Azure Monitor: Azure 리소스의 원격 분석에 대한 컬렉션, 분석 및 표시. 모니터를 사용하여 문제를 적극적으로 식별하여 성능과 안정성을 최대화합니다.
- 클라우드용 Microsoft Defender: Azure 워크로드의 보안 태세를 강화하고 모니터링합니다.
- Azure DevOps & GitHub: DevOps 방식을 구현하여 Azure Synapse 분석 및 Machine Learning을 위한 워크로드 개발 및 배포 파이프라인의 자동화 및 규정 준수를 적용합니다.
- Azure Policy: 리소스 일관성, 규정 준수, 보안, 비용 및 관리를 위한 조직 표준 및 거버넌스를 구현합니다.
대안
기계 학습 MVP는 속도에서 결과까지 이점을 누릴 수 있습니다. 경우에 따라 사전 학습된 Azure Cognitive Services 또는 Azure Applied AI Services를 통해 사용자 지정 모델의 요구 사항을 충족할 수 있습니다. 다른 경우에는 Power Apps AI Builder가 목적에 맞는 모델을 제공할 수 있습니다.
시나리오 정보
일반적인 기술 추세를 살펴보면 시민 AI 역할의 인기가 높아지고 있습니다. 이러한 역할에는 ML(기계 학습) 및 AI 기술의 적용을 통해 업무 프로세스를 개선하려는 비즈니스 실무자가 있습니다. 이러한 추세에 크게 기여한 것은 ML 모델을 개발하기 위한 낮은 코드 도구의 성숙도와 가용성이 증가하고 있다는 사실입니다.
이러한 이니셔티브의 높은 실패율로 인해 실제 환경에서 AI 애플리케이션을 신속하게 프로토타이핑하고 유효성 검사하는 기능은 빠른 실패 접근 방식을 가능하게 하는 핵심 요소가 됩니다. 프로세스를 최신화하고 혁신적인 결과를 이끌어내는 모델을 개발하기 위한 두 가지 핵심 도구가 있습니다.
- 모든 기술 수준을 위한 ML 도구 키트
- 완전 코딩된 ML 개발에 대한 코드 없음 지원
- 유연하고 코드가 낮은 GUI(그래픽 사용자 인터페이스)가 있습니다.
- 사용자가 데이터를 신속하게 소싱 및 준비 가능
- 사용자가 모델을 신속하게 빌드 및 배포 가능
- ML 알고리즘 개발을 위한 고급 자동화된 ML 기능 보유
- 낮은 코드 애플리케이션 개발 도구 키트
- 사용자가 사용자 지정형 애플리케이션 및 자동화 워크플로를 빌드할 수 있도록 합니다.
- 소비자 및 업무 프로세스가 ML 모델과 상호 작용할 수 있도록 워크플로를 만듭니다.
Machine Learning은 ML 개발을 위한 낮은 코드 GUI의 역할을 수행합니다. 자동화된 ML과 일괄 처리 또는 실시간 엔드포인트에 대한 배포가 있습니다. Power Apps 및 Power Automate가 포함된 Power Platform은 ML 알고리즘을 구현하는 사용자 지정형 애플리케이션 및 워크플로를 신속하게 구축할 수 있는 도구 키트를 제공합니다. 비즈니스 사용자는 이제 프로덕션 등급 ML 애플리케이션을 구축하여 레거시 업무 프로세스를 변환할 수 있습니다.
잠재적인 사용 사례
이러한 도구 키트는 업무 프로세스에서 ML 모델의 이점을 프로토타이핑하는 데 필요한 시간과 노력을 최소화합니다. 프로토타입을 프로덕션 등급 애플리케이션으로 쉽게 확장할 수 있습니다. 이러한 기술의 용도는 다음과 같습니다.
- 오래된 결정적 예측을 사용하는 레거시 애플리케이션이 있는 제조 운영. 이러한 상황은 ML 모델의 개선된 정확도의 이점을 얻을 수 있습니다. 개선된 정확도를 입증하려면 온-프레미스 레거시 시스템과 통합하기 위한 모델 및 개발 노력이 모두 필요합니다.
- 데이터 드리프트 시 조정되지 않는 레거시 애플리케이션이 있는 콜센터 운영. 자동으로 재학습하는 모델은 변동 예측 또는 위험 프로파일링 정확도를 크게 향상시킬 수 있습니다. 유효성 검사를 위해서는 기존 고객 관계 관리 및 티켓 관리 시스템과의 통합이 필요합니다. 통합 비용이 많이 들 수 있습니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.
안정성
안정성은 애플리케이션이 고객에 대한 약속을 충족할 수 있도록 합니다. 자세한 내용은 안정성에 대한 디자인 검토 검사 목록을 참조하세요.
이 예제 시나리오에서 사용되는 대부분의 구성 요소는 자동으로 확장되는 관리되는 서비스입니다. 이 예에서 사용된 서비스의 가용성은 지역에 따라 다릅니다.
ML 기반 앱에는 일반적으로 학습용 리소스 세트와 제공용 리소스 세트가 각각 필요합니다. 학습에 필요한 리소스는 일반적으로 라이브 프로덕션 요청이 이러한 리소스에 직접 영향을 미치지 않기 때문에 고가용성이 필요하지 않습니다. 요청을 처리하는 데 필요한 리소스에는 고가용성이 필요합니다.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화를 위한 디자인 검토 검사 목록을 참조하세요.
Azure 가격 책정: Azure의 자사 IaaS(Infrastructure-as-a-Service) 및 PaaS(Platform-as-a-Service) 서비스는 사용량 기반 가격 책정 모델을 사용합니다. 라이선스나 구독료가 필요하지 않습니다. 일반적으로 Azure 가격 계산기를 사용하여 비용을 예측합니다. 다른 고려 사항은 Well-Architected Framework의 비용 최적화를 참조하세요.
Power Platform 가격 책정: Power Apps, Power Automate 및 Power BI는 SaaS(Software-as-a-Service) 애플리케이션이며 앱 요금제별, 사용자별을 포함한 자체 가격 책정 모델을 갖고 있습니다.
운영 효율성
운영 우수성은 애플리케이션을 배포하고 프로덕션에서 계속 실행하는 운영 프로세스를 다룹니다. 자세한 내용은 Operational Excellence에 대한 디자인 검토 검사 목록을 참조하세요.
DevOps 사례는 이 예에서 사용된 엔드투엔드 접근 방식을 오케스트레이션하는 데 사용됩니다. Machine Learning DevOps 가이드는 Machine Learning을 사용하는 기업에서 MLOps(ML 작업)을 채택하는 방법에 대한 모범 사례와 학습 내용을 제공합니다.
이 예시에서 제공하는 Microsoft Power Platform 솔루션에 DevOps 자동화를 적용할 수 있습니다. Microsoft Power Platform DevOps에 대한 자세한 내용은 Azure DevOps용 Microsoft Power Platform Build Tools - Power Platform을 참조하세요.
시나리오 배포
이 비즈니스 시나리오를 고려합니다. 현장 상담원은 자동차의 시장 가격을 예상하는 앱을 사용합니다. Machine Learning을 사용하여 이 앱의 ML 모델을 빠르게 프로토타이핑할 수 있습니다. 낮은 코드 디자이너와 ML 기능을 사용하여 모델을 만든 다음 실시간 REST 엔드포인트로 배포합니다.
모델은 개념을 증명할 수 있지만 사용자는 REST API로 구현된 모델을 쉽게 소비할 수 없습니다. Microsoft Power Platform은 다음과 같이 마무리를 하는 데 도움이 될 수 있습니다.
다음은 Power Apps에서 제공하는 낮은 코드 인터페이스를 사용하여 Power Apps에서 만든 앱을 위한 사용자 인터페이스입니다.
Power Automate를 통해 낮은 코드 워크플로를 빌드하여 사용자 입력을 구문 분석하고 Machine Learning 엔드포인트에 전달하고 예측을 검색할 수 있습니다. 또한 Power BI를 사용하여 Machine Learning 모델과 상호 작용하고 사용자 지정 비즈니스 보고서 및 대시보드를 만들 수 있습니다.
이 엔드 투 엔드 예제를 배포하려면 자동차 가격 예측 - Azure Machine Learning + Power App Solution의 단계별 지침을 따릅니다.
확장된 시나리오
다음과 같은 시나리오를 고려해 보세요.
팀에 배포
이전 예에서 제공된 샘플 앱은 Microsoft Teams에도 배포할 수 있습니다. Teams는 앱을 위한 훌륭한 배포 채널을 제공하고 사용자에게 협업하기 용이한 앱 환경을 제공합니다. Power Apps를 통해 앱을 팀에 배포하는 방법에 대한 자세한 내용은 팀으로 Power Apps 앱을 사용하여 앱 게시 - Power Apps를 참조하세요.
여러 앱 및 자동화에서 API 사용
이 예제에서는 REST 엔드포인트를 HTTP 작업으로 사용하도록 Power Automate 클라우드 흐름을 구성합니다. 대신 REST 엔드포인트에 대한 사용자 지정 커넥터를 설정하고 Power Apps 또는 Power Automate에서 직접 사용할 수 있습니다. 이 접근 방식은 여러 앱이 동일한 엔드포인트를 사용하도록 할 때 유용합니다. 또한 Microsoft Power Platform 관리 센터에서 커넥터 정보 유실 방지(DLP) 정책을 사용하여 거버넌스를 제공합니다. 사용자 지정 커넥터를 만들려면 Power Apps 앱에서 사용자 지정 커넥터 사용을 참조하세요. Microsoft Power Platform 커넥터 DLP에 대한 자세한 내용은 데이터 손실 방지 정책 - Power Platform을 참조하세요.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 그것은 원래 다음에 의해 작성되었습니다:
- Vyas Dev Venugopalan | 선임 전문가 - Azure Data & AI