AI 기반 통합을 고려하고 평가할 때, 공동 책임 모델과 AI 플랫폼이나 애플리케이션 제공업체가 처리하는 작업과 본인이 처리하는 작업을 이해하는 것이 매우 중요합니다. 워크로드 책임은 AI 통합이 소프트웨어-서비스(SaaS), 플랫폼-서비스(PaaS), 인프라 서비스(IaaS)에 기반하는지에 따라 다릅니다.
책임 분담
클라우드 서비스와 마찬가지로, 조직에 AI 기능을 도입할 때 여러 가지 선택지가 존재합니다. 사용자는 선택한 옵션에 따라 AI를 안전하게 사용하는 데 필요한 다양한 작업 및 정책의 여러 부분에 대해 책임을 져야 합니다.
다음 다이어그램에서는 배포 유형에 따라 사용자와 Microsoft 간의 책임 영역을 보여 줍니다.
AI 레이어 개요
AI 지원 애플리케이션은 귀하나 AI 제공자가 수행하는 작업을 묶는 세 가지 기능층으로 구성됩니다. 보안 책임은 일반적으로 작업을 수행하는 당사자에게 있지만, AI 제공자는 필요에 따라 보안 또는 기타 제어 장치를 설정 옵션으로 노출할 수 있습니다. 이러한 세 가지 레이어는 다음과 같습니다.
AI 플랫폼
AI 플랫폼 레이어는 애플리케이션에 AI 기능을 제공합니다. 플랫폼 계층에서는 AI 모델, 학습 데이터, 가중치와 편향 등 모델의 동작을 변화시키는 특정 구성을 실행하는 인프라를 구축하고 보호해야 합니다. 이 플랫폼 계층은 API를 통해 기능에 접근할 수 있게 합니다. API는 metaprompt라고 하는 텍스트를 AI 모델에 전달해 처리한 다음, 생성된 결과를 prompt-response라고 하는 형태로 반환합니다.
AI 플랫폼 보안 고려사항 - 악의적인 입력으로부터 AI 플랫폼을 보호하기 위해 보안 시스템은 AI 모델에 보내는 잠재적으로 해로운 지시(입력)를 걸러내야 합니다. AI 모델은 생성적이기 때문에 사용자에게 해로운 콘텐츠를 생성하고 반환할 수도 있습니다(출력). 어떤 안전 시스템이든 증오, 탈옥, 기타 피해를 포함한 다양한 분류의 잠재적으로 해로운 입력과 출력으로부터 먼저 보호해야 합니다. 이러한 피해 분류는 모델 지식, 지역, 산업에 따라 시간이 지남에 따라 진화할 가능성이 큽니다.
Microsoft에는 PaaS 및 SaaS 제품 모두에 대한 기본 제공 보안 시스템이 있습니다.
- PaaS - Azure OpenAI 서비스
- SaaS - Microsoft 보안 코필로트
AI 애플리케이션
AI 애플리케이션은 AI 기능에 액세스하고 사용자가 사용하는 서비스 또는 인터페이스를 제공합니다. 이 레이어의 구성 요소는 애플리케이션에 따라 비교적 간단한 구성 요소부터 매우 복잡한 구성 요소까지 다양할 수 있습니다. 가장 단순한 독립형 AI 애플리케이션은 텍스트 기반 사용자 프롬프트를 받아 그 데이터를 모델에 전달하여 응답을 받는 API 집합에 대한 인터페이스 역할을 합니다. 더 복잡한 AI 애플리케이션에는 사용자 프롬프트에 추가 맥락을 부여하는 기능이 있으며, 여기에는 지속성 계층, 의미 인덱스, 또는 더 많은 데이터 소스에 접근할 수 있는 플러그인 등이 포함됩니다. 또한 고급 AI 애플리케이션은 기존 애플리케이션 및 시스템과도 상호 작용할 수 있습니다. 기존의 애플리케이션과 시스템은 텍스트, 오디오, 이미지를 처리하여 다양한 유형의 콘텐츠를 생성할 수 있습니다.
AI 애플리케이션 보안 고려사항 - 악의적인 활동으로부터 AI 애플리케이션을 보호하기 위한 애플리케이션 안전 시스템을 구축하세요. 안전 시스템은 AI 모델에 전송되는 메타프롬프트에 사용된 내용을 심층적으로 검사합니다. 안전 시스템은 또한 플러그인, 데이터 커넥터 및 기타 AI 애플리케이션과의 상호작용(AI 오케스트레이션으로 알려짐)을 검사합니다. 이를 자신의 IaaS/PaaS 기반 AI 애플리케이션에 통합할 수 있는 한 가지 방법은 Azure AI 콘텐츠 보안 서비스를 사용하는 것입니다. 다른 기능은 필요에 따라 사용할 수 있습니다.
AI 사용
AI 사용 레이어는 AI 기능을 궁극적으로 사용하고 소비하는 방법을 설명합니다. 생성형 AI는 API, 명령 프롬프트, 그래픽 사용자 인터페이스(GUI)와 같은 다른 컴퓨터 인터페이스와는 근본적으로 다른 새로운 유형의 사용자/컴퓨터 인터페이스를 제공합니다. 생성 AI 인터페이스는 대화형 및 동적 인터페이스로, 컴퓨터 기능이 사용자와 해당 의도에 맞게 조정되도록 합니다. 생성 AI 인터페이스는 주로 사용자가 시스템 디자인 및 기능을 학습하고 조정하도록 강제하는 이전 인터페이스와 대조됩니다. 이러한 상호작용성은 애플리케이션 설계자가 아닌 사용자 입력을 통해 시스템 출력에 큰 영향을 미칠 수 있게 하여, 사람, 데이터, 비즈니스 자산을 보호하는 데 있어 안전 보호막이 매우 중요합니다.
AI 사용 보안 고려 사항 - AI 사용 보호는 신원 및 접근 제어, 장치 보호 및 모니터링, 데이터 보호 및 거버넌스, 관리 통제 및 기타 제어 등 보안 보증에 의존하기 때문에 컴퓨터 시스템 보호와 유사한 행위입니다.
사용자 행동과 책임성은 사용자가 시스템 출력에 더 큰 영향을 미치기 때문에 더 큰 비중을 가져야 합니다. 허용 가능한 사용 정책을 업데이트하고 표준 IT 애플리케이션과 AI 지원 애플리케이션 간의 차이를 사용자에게 교육하는 것이 매우 중요합니다. 허용 가능한 사용 정책에는 보안, 개인정보 보호, 윤리와 관련된 AI 특유의 고려사항이 포함되어야 합니다. 또한, 공격자가 설득력 있는 가짜 텍스트, 음성, 동영상 등으로 사용자를 속일 수 있는 AI 기반 공격에 대해 교육하세요.
다음 자료들은 AI별 공격 유형을 정의합니다:
- AI 시스템에 대한 MSRC(Microsoft 보안 대응 센터) 취약성 심각도 분류
- MITRE 인공지능 시스템을 위한 적대적 위협 환경 (ATLAS)
- LLM(대규모 언어 모델) 애플리케이션용 OWASP 상위 10개
- OWASP ML(Machine Learning) 보안 상위 10개
- NIST AI 위험 관리 프레임워크
보안 수명 주기
다른 유형의 기능에 대한 보안과 마찬가지로 완전한 접근 방식을 계획해야 합니다. 완전한 접근 방식에는 식별, 보호, 감지, 대응, 복구 및 관리와 같은 전체 보안 수명 주기의 사람, 프로세스 및 기술이 포함됩니다. 이 생애 주기에서 어떤 공백이나 약점이 생기면 다음과 같은 상황이 발생할 수 있습니다:
- 중요한 자산 보호 실패
- 예방 가능한 공격을 경험해
- 공격을 감당할 수 없을 거야
- 비즈니스 핵심 서비스를 신속하게 복구하지 못할 수 있습니다
- 일관성 없는 컨트롤 적용
AI 위협 테스트의 독특한 특성에 대한 자세한 내용은 Microsoft AI 레드팀이 더 안전한 AI의 미래를 구축하고 있다.
사용자 지정 전에 구성
Microsoft는 조직이 AI 도입과 이후 모든 AI 워크로드에 Copilot 모델과 같은 SaaS 기반 접근법부터 시작할 것을 권장합니다. 이 접근법은 조직이 이러한 매우 복잡한 기능을 설계, 운영, 안전하게 확보하는 데 제공해야 할 책임과 전문성을 최소화합니다.
현재 기성품 기능이 특정 워크로드의 요구를 충족하지 못할 경우, Azure OpenAI Service와 같은 AI 서비스를 사용하여 PaaS 모델을 도입하여 해당 요구사항을 충족할 수 있습니다.
데이터 과학과 AI의 보안, 프라이버시, 윤리적 고려사항에 대한 깊은 전문성을 가진 조직만이 맞춤형 모델 구축을 채택해야 합니다.
AI를 세상에 알리기 위해 Microsoft는 Bing, Windows, GitHub, Microsoft 365에 이르기까지 주요 생산성 솔루션 각각에 대해 Copilot 솔루션을 개발 중입니다. Microsoft는 모든 유형의 생산성 시나리오를 위한 풀스택 솔루션을 개발 중입니다. Microsoft는 이러한 기능을 SaaS 솔루션으로 제공합니다. Microsoft는 이러한 기능을 제품 사용자 인터페이스에 내장하여 사용자가 특정 작업을 수행할 수 있도록 조정하여 생산성을 높입니다.
Microsoft는 AI 거버넌스에 대한 Microsoft의 강력한 원칙에 따라 모든 Copilot 솔루션을 설계합니다.
다음 단계
Azure AI 보안 모범 사례에 대해 자세히 알아봅니다.
Microsoft Responsible AI 표준에서 책임 있는 AI에 대한 Microsoft의 제품 개발 요구 사항에 대해 알아봅니다.
클라우드 컴퓨팅에 대한 공유 책임에 대해 알아봅니다.