AI 에이전트는 AI 공동 책임 모델 이 설명하는 요청/응답 패턴을 넘어 생성형 AI를 확장합니다. 대형 언어 모델과 달리, 에이전트는 단순히 인간이 행동할 수 있도록 콘텐츠를 반환하는 것이 아닙니다. 대신, 한 에이전트:
- 자율적으로 행동합니다. 이 도구는 도구를 호출하고, API를 호출하며, 데이터를 작성하고, 각 단계를 승인하지 않고도 워크플로우를 트리거합니다.
- 플랜 및 루프 목표를 세분화하고, 중간 결과를 바탕으로 추론하며, 응답을 반환하기 전에 스스로 여러 차례 다시 프롬프트합니다.
- 상태와 메모리를 보관합니다. 단기 맥락과 지속적인 기억은 미래 행동에 영향을 미치며 세션이나 사용자 경계를 넘나들 수 있습니다.
- 정체성을 가지고 있어. 관리된 신원, 토큰 대신, 또는 독립된 에이전트 신원을 사용하여 하위 시스템에 인증하며, 자체 권한을 가집니다.
- 다른 에이전트들과 함께 작곡합니다. 다중 에이전트 오케스트레이션에서는 한 에이전트의 출력이 다른 에이전트의 명령어가 되어 새로운 신뢰 경계를 도입합니다.
이러한 행동 각각은 요청/응답 AI 모델에는 없는 책임을 도입합니다.
비고
이 글에서는 "책임"을 거버넌스 관점에서 사용합니다: 각 통제를 누가 구성, 운영, 모니터링할 것으로 기대되는지에 대한 것입니다. 이 가이드는 예시용 지침이며, 법적 결론을 전달하거나 Microsoft 간의 어떠한 계약 조건을 수정하거나 모순하려는 의도도 없습니다.
AI 에이전트가 클라우드 및 AI 워크로드와 어떻게 다른지에 대해
다음 표는 AI 에이전트 모델이 표준 클라우드 모델과 생성형 AI(LLM) 모델과 어떻게 다른지 요약합니다.
| 관심사 | 표준 클라우드 모델 | AI(LLM) 모델 | AI 에이전트 모델 |
|---|---|---|---|
| 주요 상호작용 | API 또는 GUI | 응답 알림 | 자율적 다단계 작업의 목표 |
| 실제 부작용 | 애플리케이션 코드, 명시적 | 인간의 행동이 산출에 영향을 미친다 | 에이전트는 도구를 통해 직접 작용합니다 |
| 상태 | 응용 및 데이터 계층 | 상태 없는 프롬프트 | 지속형 에이전트 메모리 및 컨텍스트 |
| Identity | 사용자 또는 애플리케이션 식별 | 사용자 또는 애플리케이션 식별 | 독립된 에이전트 정체성과 위임된 토큰 |
| 신뢰 경계 | 사용자에서 애플리케이션으로 | 사용자 → 모델 | 사용자에서 에이전트로, 에이전트에서 도구로, 도구에서 다른 에이전트로 |
| 최고 위험 | 설정 오류, 데이터 노출 | 프롬프트 인젝션(콘텐츠) | 행동을 유도하는 프롬프트 인젝션; 과도한 자율성; 혼동된 대리자 |
책임 분담
클라우드와 AI 공동 책임 모델과 마찬가지로, 책임 분담은 선택한 배포 모델에 따라 달라집니다. 에이전트의 경우, 관련 옵션은 다음과 같습니다:
- SaaS 에이전트입니다. Microsoft 365 Copilot 에이전트, Microsoft Security Copilot, 또는 공개된 Microsoft Copilot Studio 에이전트와 같은 기성품 에이전트입니다. Microsoft는 오케스트레이터, 모델, 안전 시스템, 대부분의 도구 커넥터를 운영합니다. 설정, 데이터 접근 범위, 신원 확인, 사용 권한은 본인이 소유합니다.
- PaaS 에이전트입니다. Microsoft Foundry Agent Service, 커스텀 Microsoft Copilot Studio 에이전트, 또는 의미 체계 커널과 Microsoft 에이전트 프레임워크 같은 관리형 에이전트 플랫폼에서 에이전트를 Azure 관리 런타임에서 구축합니다. Microsoft는 런타임, 모델 호스팅, 플랫폼 안전 제어 기능을 제공합니다. 당신은 에이전트의 명령어, 도구 및 플러그인 선택, 도구 권한, 오케스트레이션 논리, 메모리 설계, 그리고 에이전트의 신원 및 권한 부여를 소유합니다.
- IaaS 에이전트. 전체 에이전트 스택을 직접 구축하고 호스팅합니다: VM이나 컨테이너 위의 맞춤형 오케스트레이터, 자체 관리 프레임워크, 그리고 때로는 셀프 호스팅 모델도 포함됩니다. 물리적 인프라(그리고 호스팅 API로 사용하는 경우 기본 모델)를 제외한 거의 모든 것을 소유하게 됩니다.
책임이 좌측으로 이동하여, SaaS에서 PaaS, IaaS 에이전트로 이동하면서 더 많은 주인의식을 갖게 됩니다.
다음 도표는 에이전트 배포 유형에 따라 귀하와 Microsoft 간의 책임 영역을 보여줍니다.
AI 에이전트 계층 개요
에이전트 시스템은 기존 AI 플랫폼, 애플리케이션, 사용 계층 위에 세 개의 새로운 계층을 추가합니다. 보안 책임은 작업을 수행하는 사람에게 따르지만, 제공업체는 설정 시 통제 권한을 노출할 수 있습니다.
AI 플랫폼 계층 (상속됨)
AI 플랫폼 계층은 모델, 학습 데이터, 가중치, 추론 API를 호스팅하고 보호합니다. Microsoft는 PaaS(Microsoft Foundry 및 Azure OpenAI 모델)와 SaaS(Microsoft Security Copilot 및 Microsoft 365 Copilot)를 위한 내장 입출력 안전 시스템을 제공합니다.
에이전트 오케스트레이션 계층
오케스트레이션 계층은 '브레인 루프'로, 계획, 추론, 도구 선택, 에이전트의 시스템 프롬프트와 지시, 다중 에이전트 조정을 포함합니다. 이 층은 과도한 주체 성과 신속한 행동 투입 위험이 존재하는 곳입니다.
보안 고려사항:
- 에이전트의 지시와 범위(최소 기능)를 제한하세요.
- 루프에 들어오는 신뢰할 수 없는 콘텐츠, 검색된 문서, 도구 출력, 그리고 다른 에이전트의 메시지 등을 검증하고 소독합니다. 모든 것을 신뢰할 수 없는 입력으로 취급하고, 신뢰할 수 있는 명령어로 마세요.
- 계획 수립 가드레일을 적용하세요: 단계 및 반복 제한, 루프 감지, 예산 및 비용 상한선, 그리고 어떤 도구를 연계할 수 있는지에 대한 허용 목록.
- 다중 에이전트 시스템의 경우, 각 에이전트 간 메시지를 신뢰 경계로 간주하고 입력 안전을 다시 적용합니다.
도구 및 행동 계층
도구 및 작업 계층에는 커넥터, 플러그인, 함수, 모델 컨텍스트 프로토콜(MCP) 서버, 그리고 에이전트가 실제 세계에서 상태를 읽고 변경할 수 있는 API가 포함되어 있습니다. 이 계층이 LLM 모델과 가장 큰 차이점입니다.
보안 고려사항:
- 도구당 최소 권한. 각 도구나 커넥터는 필요한 권한만 가져야 합니다. 에이전트에 광범위한 상시 자격 증명을 부여하지 마세요.
- 세션 시작 시에만 해당되지 않고 모든 행동에 대한 권한 부여가 필요합니다. 이 자원에서 이 행동이 허용되는지 다시 확인하세요. 이 검증은 혼란스러운 부대표와 과도한 위임 위험을 완화합니다.
- 사람이 개입하는 관문. 쓰기, 삭제, 결제, 생산 변경, 외부 전송과 같은 고영향, 되돌릴 수 없거나 민감한 행동에 대해 요구하세요.
- 작업 감사. 모든 도구 호출을 입력, 출력, 사용된 식별자, 의사결정 근거와 함께 기록하세요.
- 샌드박싱과 탈출 제어. 코드 실행 및 탐색 도구에 적용하세요.
에이전트 메모리 및 상태 계층
에이전트 메모리 계층은 단기 대화 컨텍스트와 지속 메모리, 벡터 저장소, 그리고 미래 동작에 영향을 미치는 스크래치패드를 포함합니다.
보안 고려사항:
- 사용자와 테넌트별로 메모리를 범위 지정하고 격리하세요. 사용자 간 또는 세션 간 메모리 누수를 방지합니다.
- 기억 중독으로부터 보호하세요. 주입된 콘텐츠는 지속되거나 나중에 재트리거될 수 있습니다.
- 저장된 메모리를 분류, 보존, 삭제하세요. 데이터 분류, 보존, 삭제권을 적용하세요.
- 메모리 저장소를 암호화하고 접근 제어를 강제합니다. 메모리를 민감한 데이터로 취급하세요.
AI 애플리케이션 계층 (상속됨)
AI 애플리케이션 계층은 사용자가 사용하는 애플리케이션 또는 인터페이스로, 그라운딩, 플러그인, 애플리케이션 안전 시스템을 포함합니다. 예로는 Azure AI 콘텐츠 보안와 프롬프트 쉴드가 있습니다.
AI 사용 계층 (상속, 확장)
AI 사용 계층은 사용자와 애플리케이션이 에이전트를 어떻게 소비하는지를 설명합니다. 에이전트와 함께라면 자율적 행동에 대한 책임성이 중심이 됩니다: 허용 가능한 사용 정책, 에이전트별 위험에 대한 사용자 교육, 그리고 에이전트가 사용자를 대신해 수행하는 행동에 대한 명확한 소유권 등이 포함됩니다.
책임 매트릭스
다음 매트릭스는 배포 모델 전반에 걸친 책임을 요약합니다. C = Customer, M = Microsoft, S = Shared. 매트릭스는 일반적인 가이드이며; 특정 서비스에 대한 구체적인 책임은 서비스 조건과 구성에 따라 달라질 수 있습니다.
상속받은 클라우드 및 AI 책임
| 책임 영역 | IaaS 에이전트 | PaaS 에이전트 | SaaS 에이전트 |
|---|---|---|---|
| 고객 데이터 (근거 자료 및 메모리 내용 포함) | C | C | C |
| ID 및 사용자 | C | C | C |
| 접근 관리 (RBAC, MFA, 조건부 접근) | C | C | C |
| 클라이언트 장치 및 엔드포인트 | C | C | S |
| 기본 모델 호스팅 및 가중치 | C/M1 | M | M |
| 모델 입출력 콘텐츠 안전 | C/M1 | S | M |
| 물리적 인프라(호스트, 네트워크, 데이터센터) | M | M | M |
에이전트별 책임
| 책임 영역 | IaaS 에이전트 | PaaS 에이전트 | SaaS 에이전트 |
|---|---|---|---|
| 에이전트 명령어, 시스템 프롬프트 및 범위 | C | C | S |
| 도구, 플러그인, 커넥터 선택 | C | C | S |
| 도구별 권한(최소 권한) | C | C | S |
| 에이전트 신원 및 위임된 토큰 관리 | C | S | S |
| 작업별 권한 검사 | C | S | S |
| 고영향력 행동에 대한 인간 참여 승인 | C | C | C |
| 오케스트레이션 가드레일 (루프, 스텝, 비용 제한) | C | S | M |
| 다중 에이전트 신뢰 경계 제어 | C | S | S |
| 기억 설계, 격리, 그리고 중독 방어 | C | S | M |
| 툴 및 액션 샌드박싱과 이그레스 제어 | C | S | M |
| 액션 감사 기록 및 모니터링 | C | S | S |
| 에이전트 런타임 및 오케스트레이터 플랫폼 | C | M | M |
| 허용 가능한 사용 정책과 행동에 대한 책임 | C | C | C |
1 모델을 IaaS에 자체 호스팅하는 경우 고객, IaaS에 호스팅된 에이전트를 통해 호스팅된 모델 API를 사용하는 경우 Microsoft.
항상 보유하는 책임
배포 모델과 상관없이 항상 다음 책임을 져야 합니다:
- 데이터, 에이전트 메모리에 기록되고 도구에 전달되는 모든 것을 포함합니다.
- 신원 및 최소 권한: 에이전트 자신의 신원과 사용할 수 있는 모든 자격 증명 또는 토큰의 범위.
- 행동 권한: 에이전트가 할 수 있는 일, 특히 되돌릴 수 없거나 민감한 작업의 경우.
- 인간의 감독: 어떤 행동이 승인이 필요한지, 그리고 누가 에이전트의 행동에 책임을 져야 하는지.
- 허용 가능한 사용 및 거버넌스: 자율적 행동을 위한 정책, 사용자 교육, 준수.
설계해야 할 에이전트별 주요 위험
이러한 위험은 LLM 응용 분야의 OWASP Top 10, 에이전트 AI 분야의 OWASP Top 10, MITRE ATLAS, 그리고 AI 시스템의 Microsoft 보안 대응 센터(MSRC) 취약점 심각도 분류와 일치합니다. 그들은 에이전트만의 독특한 액션 차원을 강조합니다.
| 위험 | 완화 방법 |
|---|---|
| 즉각적인 행동 투입. 웹페이지, 문서, 이메일 또는 다른 에이전트와 같은 신뢰할 수 없는 콘텐츠가 에이전트를 탈취해 도구를 악의적으로 호출하도록 만듭니다. | 모든 툴, 검색, 에이전트 출력을 신뢰할 수 없는 것으로 취급하세요. 명령어를 데이터에서 분리하세요. 영향이 큰 작업을 제한하세요. |
| 과도한 주체성. 에이전트는 작업에 필요한 것보다 더 많은 도구, 권한, 자율성을 가지고 있습니다. | 도구별로 최소 기능과 최소 권한 적용, 그리고 범위 지침을 적용하세요. |
| 혼란스러운 부대표 또는 지나치게 광범위한 위임 범위. 에이전트는 요청하는 사용자가 할 수 없는 일을 위해 특권 신원을 사용합니다. | 대리 토큰과 작업별 권한 부여를 사용하세요. 고정된 광범위한 정체성을 피하세요. |
| 기억 중독. 주입된 콘텐츠는 유지되며 나중에 또는 세션이 바뀐 후 다시 트리거됩니다. | 기억을 분리하고 검증하며, 출처를 추적하고 기억을 강제합니다. |
| 무한한 루프, 비용, 자원 고갈. 도망치는 계획. | 스텝, 반복, 예산 제한을 강제하고, 루프를 감지하세요. |
| 다중 에이전트 신뢰 실패. 손상되거나 환각을 일으키는 물질은 협력자를 오염시킵니다. | 각 에이전트 간 경계에 입력 안전성을 다시 적용하세요. 검증하고, 믿지 마세요. |
| 불법 요원이나 사칭 요원들. 허가받지 않은 에이전트가 환경에서 활동하거나, 에이전트의 신원이 위조됩니다. | 강력한 에이전트 신원, 증명, 탐지 및 모니터링을 강제합니다. |
커스터마이즈하기 전에 먼저 설정하세요
Microsoft가 AI에 권장하는 원칙이 에이전트에도 적용되며, 자율성이 실수할 비용을 배가시키기 때문에 에이전트에게 더 강력합니다.
- SaaS 에이전트(Microsoft 365 Copilot, Microsoft Security Copilot, 또는 공개된 Microsoft Copilot Studio 에이전트)부터 시작하세요. Microsoft는 오케스트레이션, 보안, 그리고 대부분의 도구 보안을 소유하고 있습니다. 데이터 범위와 식별 방식을 설정합니다.
- 기성 솔루션으로 해결되지 않을 때만 PaaS 에이전트(Microsoft Foundry Agent Service, 맞춤형 Microsoft Copilot Studio 에이전트 또는 관리형 런타임에서 실행되는 Microsoft Agent Framework)로 이동하세요. 에이전트 로직, 도구, 권한, 메모리, 그리고 신원을 맡게 됩니다.
- AI 보안, 신원, 자율 시스템 위험에 대한 깊은 전문성을 가진 IaaS 에이전트 만 구축하세요. 거의 모든 스택을 소유하고 있습니다.
경험 법칙: 에이전트에게 자율성과 도구 및 권한 세트를 부여할수록, 배포 모델과 관계없이 책임 매트릭스가 당신에게 더 많이 이동합니다. 자율성은 결코 책임성을 줄이지 않습니다.
다음 단계
- 클라우드 컴퓨팅에 대한 공유 책임에 대해 알아봅니다.
- AI 공동 책임 모델에 대해 알아보세요.
- Azure AI 보안 모범 사례에 대해 알아보세요.