이 브라우저는 더 이상 지원되지 않습니다.
최신 기능, 보안 업데이트, 기술 지원을 이용하려면 Microsoft Edge로 업그레이드하세요.
이 문서에서는 Azure AI 워크로드를 디자인, 배포 및 관리하는 데 도움이 되는 아키텍처 패턴 및 기준 참조 아키텍처를 제공합니다. 안전하고 확장 가능하며 잘 관리되는 AI 시스템을 구축하기 위한 핵심 구성 요소, 상호 작용 및 모범 사례를 다룹니다.
AI 워크로드를 디자인할 때 이 아키텍처 패턴을 기준으로 사용합니다. 패턴에 표시된 핵심 구성 요소 및 상호 작용으로 시작한 다음 비즈니스 목표, 기술 제약 조건 및 위험 상태에 맞게 조정합니다.
예를 들어 조직에서는 직원이 내부 문서 및 운영 데이터에 대해 질문할 수 있는 엔터프라이즈 AI 도우미 애플리케이션을 빌드하려고 합니다. 사용자가 질문을 하면 애플리케이션은 필요한 데이터를 파악하고, 관련 컨텍스트를 검색하고, 올바른 모델을 호출하여 기본 응답을 생성합니다. 이를 위해 도우미가 신뢰할 수 있는 up-to-date 컨텍스트를 검색할 수 있도록 내부 문서를 정리, 보강 및 인덱싱하는 데이터 파이프라인이 필요합니다. 다른 애플리케이션과 마찬가지로 Well-Architected 사례를 사용하여 애플리케이션을 안정적이고 안전하며 비용 최적화된 상태로 유지합니다.
이 AI 도우미는 특정 비즈니스 시나리오를 나타내지만 다음과 같은 아키텍처 패턴은 유사한 특성을 가진 많은 AI 사용 사례에 적응할 수 있을 만큼 일반적입니다.
이 문서에서는 AI 워크로드의 핵심 구성 요소, 해당 함수 및 상호 작용에 대한 기준 지식을 설정하는 제네릭 패턴을 안내합니다. 이 기반을 사용하면 특정 사용 사례에 맞게 아키텍처를 사용자 지정할 때 강력한 AI 솔루션을 빌드하기 위해 정보에 입각한 디자인 결정을 내릴 수 있습니다.
이 다이어그램은 AI 워크로드 디자인에 사용할 수 있는 주요 구성 요소를 보여 줍니다.
| 구성 요소 | Description |
|---|---|
| 데이터 처리 및 분석 | 다양한 원본에서 원시 데이터를 수집하고, 정리하고, 변환하고, 모델 학습, 미세 조정 및 접지에 사용할 수 있는 데이터 세트로 구성합니다. 이 계층은 사용자와 직접 상호 작용하지 않지만 정확하고 효율적인 AI 상호 작용 다운스트림을 가능하게 합니다. |
| 모델 학습 및 미세 조정 | 반복 가능한 프로세스를 통해 데이터에 대한 모델을 학습시키고, 버전을 추적하고, 성능을 모니터링합니다. MLOps 사례를 사용하여 새 데이터가 들어오면 계속 개선하고 비즈니스 요구 사항에 맞게 유지합니다. |
| 지능형 AI 애플리케이션 | 사용자가 AI와 상호 작용하는 위치입니다. 미리 학습된 모델을 애플리케이션 논리와 결합하여 올바른 정보를 찾고, 프롬프트를 만들고, 인터페이스를 빌드하고, 피드백을 통해 학습합니다. |
| AI 사례 및 프로세스 | DevOps 원칙, 버전 제어 및 자동화된 파이프라인을 MLOps 워크플로에 통합하여 AI 솔루션을 안정적으로 유지합니다. 안전 장치를 사용하여 반복적으로 배포하고 정확도, 성능 및 바이어스를 지속적으로 확인합니다. |
| 플랫폼 서비스 및 도구 | 리소스를 보호하고, 비용을 제어하며, 개발에서 배포까지 시스템 상태를 모니터링하는 핵심 클라우드 서비스입니다. 신뢰할 수 있는 자동화 및 특수 도구를 위해 CI/CD 파이프라인을 사용하여 AI 출력에서 규정 준수를 검사합니다. |
이 섹션에서는 지능형 애플리케이션 워크로드와 학습 및 미세 조정 워크로드의 두 가지 주요 워크로드에 대해 설명합니다. 각 워크로드에는 수명 및 상태, 도달률 및 종속성, 확장성 및 가용성, 보안 및 책임 있는 AI에 대한 고유한 디자인 고려 사항이 있습니다.
모든 AI 워크로드에 학습 및 미세 조정 구성 요소가 필요한 것은 아닙니다. 사용자 지정 학습 없이 미리 학습된 모델만 사용하는 경우 지능형 애플리케이션 워크로드에 집중합니다. 그러나 사용 사례에 사용자 지정 모델을 빌드하거나 새 데이터로 지속적으로 개선하는 경우 학습 및 미세 조정 워크로드가 필수적입니다. 두 워크로드 모두 모듈식이므로 디자인 고려 사항에 설명된 모범 사례를 따르는 동안 특정 사용 사례와 관련된 구성 요소를 구현할 수 있습니다.
| 디자인 특성 | Description |
|---|---|
| 수명 및 상태 |
수명은 워크로드 내에서 리소스의 존재 및 활성도의 예상 기간을 나타냅니다. 상태는 리소스가 시간에 따라 유지 관리하는 데이터 또는 정보를 나타냅니다. |
| 도달률 및 종속성 |
도달 범위 는 리소스에 액세스하거나 배포해야 하는 범위를 나타냅니다. 종속성은 관계 및 다른 리소스에 대한 의존도를 나타냅니다. |
| 확장성 및 가용성 |
확장성은 증가된 부하 또는 수요를 처리하는 리소스의 기능입니다. 가용성 은 리소스가 계속 작동하고 액세스할 수 있는 기능입니다. |
| 보안 및 책임 있는 AI |
보안 은 데이터를 보호하고 규정 준수를 보장하는 조치를 의미합니다. 책임 있는 AI 는 공정성, 투명성 및 책임을 포함하여 윤리적 AI를 보장하는 관행을 말합니다. |
이 다이어그램은 디자인에 포함할 지능형 애플리케이션 워크로드의 주요 구성 요소를 보여 줍니다.
| 구성 요소 | Description |
|---|---|
| 클라이언트 계층 | 클라이언트 계층을 사용하면 사용자 및 외부 시스템이 AI와 연결할 수 있습니다. 이 계층은 요청을 받고 AI에서 생성된 응답을 반환하면서 환경이 간단하고 사용하기 쉬운지 확인합니다. |
| 인텔리전스 계층 - API | 인텔리전스 계층 API는 잘 정의된 API를 통해 클라이언트와 시스템의 인텔리전스 기능을 연결합니다. 요청을 올바른 에이전트 또는 오케스트레이션 프로세스로 전달하여 사용자와 서비스 간의 상호 작용이 원활하고 일관되도록 해야 합니다. 또한 이 계층은 데이터에 액세스하는 방법을 처리하고, 보안 조치를 적용하고, 시스템이 오버로드되지 않도록 제한을 설정합니다. 앱에 간단한 예측만 필요한 경우 이 계층은 복잡한 오케스트레이션 단계를 건너뛰고 빠른 응답을 위해 유추 엔진에 직접 요청을 보낼 수 있습니다. |
| 인텔리전스 계층 - 오케스트레이션 및 에이전트 컴퓨팅 | 오케스트레이션 및 에이전트 컴퓨팅 계층은 각 작업을 완료하기 위해 서로 다른 AI 구성 요소가 함께 작동하는 방식을 조정합니다. 필요한 항목에 따라 작업을 하나씩 실행하거나 여러 에이전트가 동시에 작업한 다음 결과를 병합할 수 있습니다. 사용자 의도를 파악하고, 응답을 확인하여 안전한지 확인하고, 정보를 위해 기술 계층과 통합하고, 도구를 사용하여 모든 것을 결합하고 최상의 답변을 제공합니다. |
| 인텔리전스 계층 - 대화 관리 | 대화 관리 계층은 시스템의 메모리 및 대화 관리자입니다. 이를 통해 AI는 이전 메시지를 회수하고, 진행 중인 주제를 추적하고, 토론에서 중요한 부분을 저장하여 자연스럽게 채팅할 수 있으므로 긴 세션 동안에도 대화가 원활하게 진행될 수 있습니다. 또한 대화 데이터가 유지되거나 삭제되는 방식을 확인하여 정보가 책임감 있게 처리되도록 합니다. |
| 추론 계층 - 기초 또는 예측 모델 | 추론 계층은 학습된 모델이 예측하거나, 콘텐츠를 생성하거나, 수신하는 정보에 따라 결정을 내리는 위치입니다. 프로세스는 AI 모델을 로드하고, 데이터를 준비하고, 예측을 실행한 다음, 결과를 즉시(실시간) 이상(일괄 처리) 사용할 수 있도록 서식을 지정하는 것으로 시작합니다. |
| 기술 계층 | 기술 계층은 시스템에서 질문에 정확하게 답변하는 데 필요한 정보와 컨텍스트를 가져오는 곳입니다. 권한 및 권한 부여를 사용하여 데이터가 안전하게 액세스되도록 합니다. 기술 계층은 AI가 인덱스 또는 벡터 데이터베이스를 검색하여 올바른 콘텐츠만 찾는 RAG 접근 방식을 따르는 데 도움이 됩니다. 이를 통해 AI는 MCP 또는 REST 프로토콜을 통해 일관된 방식으로 다양한 내부 및 외부 데이터 원본에 액세스할 수 있습니다. |
| 도구 계층 | 도구 계층은 비즈니스 작업 및 외부 기능에 액세스할 수 있는 위치입니다. 인텔리전스 계층은 MCP, A2A 또는 OpenAPI/REST를 통해 표준화된 방식으로 도구 또는 에이전트를 호출하여 이러한 작업을 트리거하거나 다른 시스템과 연결할 수 있습니다. 이러한 기능은 실행 가능한 옵션으로 표시되며, 인텔리전스 계층을 사용할 준비가 되어 있으며 워크로드 또는 외부 서비스에서 직접 처리될 수 있습니다. |
인텔리전트 애플리케이션 워크로드 아키텍처를 설계할 때 다음 디자인 특성을 고려하여 구성 요소 디자인 및 상호 작용에 대한 정보에 입각한 결정을 내립니다.
Intelligence API, 오케스트레이션, 유추 및 기술 계층은 모두 워크로드의 수명 동안 실행되는 수명이 긴 서비스입니다. 각 서비스의 가용성, 모니터링 및 운영 우수성에 투자합니다.
각 계층은 다른 속도로 진화하므로 의도적인 배포 조정이 필요합니다. 인텔리전스 API는 안정적으로 유지되고 이전 버전과의 호환성을 유지하기 위해 천천히 진화합니다. 오케스트레이션 및 에이전트 계층은 새로운 기능을 추가함에 따라 더욱 빠르게 진화합니다. 새 모델을 배포할 때 유추 계층이 업데이트됩니다. 지식 계층은 데이터가 변경됨에 따라 지속적으로 발전합니다.
상태 비저장 구성 요소는 요청 시 할당 또는 할당 취소할 수 있으며 상태 저장 구성 요소는 상호 작용 간에 지속되는 데이터를 관리합니다.
Intelligence API, 오케스트레이션 및 유추 계층은 상태 비 상태이므로 인스턴스를 더 추가하여 크기를 쉽게 조정할 수 있습니다. 오케스트레이션 계층은 실행 중에 임시 상태를 유지할 수 있지만 요청 처리 외에는 유지되지 않습니다. 임시 상태는 운영 복잡성을 줄이지만 오류 복구 옵션을 제한하므로 재시도 및 멱등성을 위해 신중하게 디자인합니다.
대화 관리 세션 데이터는 몇 분에서 며칠까지 지속될 수 있습니다. 세션이 길어질수록 대화가 더 풍부해지지만 비용이 더 많이 들고 개인 정보 보호 위험이 높아질 수 있습니다. 기술 계층은 정보를 추가, 업데이트 또는 제거할 때 진화하는 인덱스 및 데이터베이스에 데이터를 저장합니다.
절충안. 수명 및 상태 관리에 대한 결정은 비용, 신뢰성 및 성능에 직접적인 영향을 미칩니다. 수명이 긴 상태 저장 구성 요소는 크기 조정 및 복원력에 더 많은 투자가 필요하지만 상태 비저장 임시 구성 요소는 비용 효율적이지만 콜드 시작 또는 외부 상태 검색으로 인한 대기 시간이 발생할 수 있습니다.
Intelligence API는 아키텍처에서 공개적으로 노출된 유일한 엔드포인트이며, 다른 모든 엔드포인트는 내부적으로 유지됩니다. 여러 지역에 배포하여 사용자를 엔드포인트에 가깝게 유지하고 복원력을 향상시킬 수 있습니다.
오케스트레이션 계층은 중앙에 위치하고, 네트워크 내에서 작동하며, 대화 상태, 모델 호출, 지식 검색 및 도구 호출과 같은 모든 것을 조정합니다. 여기서 실패하면 전체 시스템이 차단되므로 고가용성을 확보하십시오.
유추 계층은 외부 종속성 없이 내부적으로 실행됩니다. 대기 시간을 낮게 유지하기 위해 오케스트레이터에 가깝게 배포합니다.
지식 및 도구 계층은 내부적이지만 외부 시스템에 따라 달라질 수 있습니다. 이러한 외부 종속성으로 인해 응답 품질에 영향을 주는 지연 또는 가용성 문제가 발생할 수 있습니다.
지능형 애플리케이션에는 두 가지 크기 조정 패턴이 있습니다. API, 오케스트레이션 및 추론과 같은 상태 비지정 계층은 더 많은 인스턴스를 추가하여 확장됩니다. 여러 저장소에 데이터를 분산하여 대화 관리 및 지식 확장을 지원하는 데이터 계층은 읽기 복제본, 파티셔닝 및 샤딩과 같은 메커니즘을 사용합니다.
Intelligence API는 더 많은 요청을 처리하도록 확장됩니다. 가용성을 높이고 사용자를 엔드포인트에 가깝게 유지하기 위해 여러 영역 또는 지역에 배포합니다.
오케스트레이션 및 에이전트 컴퓨팅은 시스템의 중심에 있으므로 여기서 오류는 모든 것을 차단합니다. 인스턴스를 더 추가하고 부하 분산을 사용하며 장애 조치(failover)를 준비하여 개별 인스턴스가 실패할 때 시스템이 계속 실행됩니다.
유추 계층은 모델에 필요한 사항에 따라 크기가 조정됩니다. 수요가 증가함에 따라 GPU를 사용하여 인스턴스를 더 추가합니다. IaC(Infrastructure as Code)를 사용하여 복구하는 동안 환경을 빠르게 다시 만듭니다.
대화 관리는 동시 사용자 수로 확장됩니다. 복사본 및 백업을 사용하여 세션 데이터를 계속 사용할 수 있습니다.
지식 계층은 데이터의 양과 쿼리 빈도에 따라 조정됩니다. 효율적인 인덱싱 및 데이터베이스 튜닝을 사용하여 응답을 빠르게 유지합니다. 가용성을 위해 여러 위치에서 복사본을 설정합니다.
지능형 애플리케이션의 각 계층은 서로 다른 위험을 수반하며 자체 컨트롤이 필요합니다. 도구는 실제 세계의 작업을 트리거하며, 지식은 AI가 알고 있는 것을 형성하고, 유추는 사용자가 볼 수 있는 출력을 생성합니다. 모든 계층에서 액세스를 제한하고, 발생하는 작업을 모니터링하고, 결정을 내리는 방법을 설명할 수 있는지 확인합니다.
작업은 잠재적으로 되돌릴 수 없는 실제 결과를 초래할 수 있기 때문에 도구 계층은 가장 높은 위험을 수반합니다. 위험 수준이 높은 작업의 경우 사용자 승인 단계를 추가합니다. 엄격한 인증, 최소 권한 액세스 및 데이터 개인 정보 보호 적용을 사용하여 무단 작업 및 PII 노출을 방지합니다. 통합하기 전에 모든 도구를 평가하여 거버넌스가 워크로드 경계를 넘어 확장되도록 합니다.
신뢰할 수 있는 출력을 생성하려면 지식 계층에 고품질의 편견 없는 데이터가 필요합니다. 적절한 인증, 권한 부여 및 데이터 보존 요구 사항을 준수하여 데이터 액세스를 안전하게 유지합니다. 읽기 전용 액세스 및 네트워크 격리는 손상을 방지합니다. 감사 내역을 통해 각 응답에 대해 검색된 원본을 기록합니다. 이 프로세스를 통해 결정을 설명하고 나중에 문제를 조사할 수 있습니다.
유추 계층은 작업 역할 및 오케스트레이션 계층의 ID에만 액세스할 수 있어야 합니다. 독성 및 기타 안전 문제를 확인하는 유효성 검사 서비스를 통해 출력을 모니터링합니다. 배포 전에 모델의 유효성을 검사하여 바이어스를 파악하고 프로덕션에 문제가 표시될 경우 롤백 메커니즘을 준비 상태로 유지합니다.
이러한 기준 예제는 AI 워크로드에 권장되는 아키텍처 역할을 합니다.
다이어그램은 세 개의 가용성 영역이 있는 지역을 예로 사용합니다. 가용성 영역의 수는 지역에 따라 달라질 수 있습니다.
이 아키텍처를 참조로 사용하여 Foundry, Azure OpenAI 및 기타 관련 서비스를 사용하여 Azure 안전하고 확장 가능한 대화형 AI 솔루션을 빌드하고 배포합니다. 규정 준수 및 엔터프라이즈 준비 상태를 보장하기 위해 프라이빗 네트워킹, 영역 중복성 및 엄격한 보안 제어를 강조합니다.
이 아키텍처는 Microsoft Foundry Chat 디자인을 기반으로 하여 안전한 Azure 랜딩 존에 배치합니다. 네트워크 격리된 프라이빗 환경 내에 주요 구성 요소(Foundry 에이전트 서비스, Azure OpenAI 및 App Service)를 함께 제공합니다. 모든 서비스는 프라이빗 엔드포인트를 통해 연결되며 Azure Firewall 의해 보호되며, 고가용성을 위한 영역 중복성이 있습니다.
전체 분석 수명 주기를 간소화하는 통합 데이터 플랫폼을 디자인할 때 이 아키텍처를 참조로 사용합니다.
지능형 애플리케이션 시나리오를 디자인하기 위한 모범 사례를 검토합니다.
