요약
이 모듈에서는 AI 보안의 기본 개념에 대해 알아보았습니다. 특히 생성 AI의 비결정적 특성과 자연어 인터페이스에서 만든 확장된 공격 표면 때문에 AI 보안이 기존의 사이버 보안과 어떻게 다른지 살펴보했습니다. 또한 LLM 애플리케이션 및 MITRE ATLAS에 대한 OWASP Top 10과 같은 책임 있는 AI 및 업계 표준 프레임워크의 중요성에 대해서도 알아보았습니다.
세 가지 AI 아키텍처 계층(사용, 애플리케이션 및 플랫폼)과 각 계층의 고유한 보안 문제를 조사했습니다. 그런 다음, 다음과 같은 5가지 범주의 AI 관련 공격을 살펴보했습니다.
- 탈옥: 직접 주입, 크레센도 공격 및 인코딩 트릭을 포함하여 안전 가드레일을 우회하는 기술
- 프롬프트 삽입: 악의적인 지침을 통해 모델 동작을 조작하는 직접 및 간접(XPIA) 공격
- 모델 조작: 학습 중에 모델을 손상시키는 모델 중독 및 데이터 중독 공격
- 데이터 반출: 모델, 학습 데이터 또는 상호 작용 데이터의 무단 추출
- 과잉 의존: 검증 없이 AI 출력을 수락하는 사람의 행동 위험
각 공격 유형에 대해 기술 제어, 모니터링 및 인간 감독을 결합하는 계층화된 완화 전략에 대해 알아보았습니다. AI 보안은 빠르게 진화하는 분야로, 새로운 공격 기술과 대책이 계속 등장하고 있습니다. 효과적인 보안 제어를 유지하려면 OWASP, MITRE ATLAS 및 NIST AI RMF와 같은 프레임워크를 최신 상태로 유지하는 것이 중요합니다.
기타 리소스
학습 과정을 계속하려면 다음으로 이동합니다.