다음을 통해 공유

안전 시스템 메시지

  • 아티클

이 문서에서는 효과적인 시스템 메시지를 작성하여 AI 모델의 동작을 안내하고, 출력 품질과 정확도를 개선하고, 피해를 완화하는 프레임워크 및 예제를 권장합니다. 시스템 메시지는 다른 완화 기술과 함께 안전한 출력을 결정하는 보다 정확한 방법을 제공합니다.

참고 항목

시스템 메시지는 "metaprompt" 및 "시스템 프롬프트"와 상호 교환하여 사용됩니다. 여기서는 "시스템 메시지"를 사용하여 업계 분류 및 표준에 맞춥니다.

또한 "구성 요소"라는 용어를 사용합니다. 구성 요소는 시스템 메시지의 전반적인 구조와 기능에 기여하는 고유한 부분입니다. 예를 들어 지침, 컨텍스트, 톤, 안전 지침 및 도구가 있습니다.

시스템 메시지가란?

시스템 메시지는 모델 출력의 품질과 안전성을 개선하고 지시하고 개선하기 위해 생성 AI 모델(예: GPT4-o, GPT3.5 Turbo 등)에 제공되는 기능별 지침 또는 컨텍스트 프레임워크 집합입니다. 이는 특정 수준의 형식, 기술 언어 또는 업계별 용어가 필요한 경우에 유용합니다.

정해진 길이는 없습니다. 시스템 메시지는 하나의 짧은 문장일 수 있습니다.

You are a helpful AI assistant.

시스템 메시지는 자세한 규칙, 자세한 컨텍스트, 서식 및 출력 지침, 책임 있는 AI(RAI) 완화를 포함하는 긴 줄일 수도 있습니다.

안전 시스템 메시지 예제

안전 시스템 메시지는 잠재적인 RAI 피해를 완화하고 사용자와 안전하게 상호 작용하도록 시스템을 안내하는 명시적 지침을 제공하는 시스템 메시지의 유형입니다. 안전 시스템 메시지는 안전 스택을 보완하며 기본 모델 학습, 데이터 접지, Azure AI 콘텐츠 안전 분류자 및 UX/UI 개입과 함께 추가할 수 있습니다. Azure OpenAI 모델에 대한 책임 있는 AI 사례에 대해 자세히 알아봅니다.

이 기술은 효과적이지만 여전히 유효하지 않으며 대부분의 안전 시스템 메시지를 다른 안전 완화와 함께 사용해야 합니다.

단계별 작성 모범 사례

시스템 메시지 또는 안전 시스템 메시지 구성 요소를 개발하려면 다음 단계를 수행하는 것이 좋습니다.

1/ 시나리오 정의

시나리오에 대한 모델의 프로필, 기능 및 제한 사항을 정의합니다.

  • 모델이 완료하길 원하는 특정 작업을 정의합니다. 사용자는 누구인가요? 어떤 유형의 입력을 제공합니까? 모델은 이러한 입력으로 무엇을 해야 하나요? 적용 가능한 특정 형식/형식이 있나요?
  • 모델 유형을 고려합니다. 사용(예: 멀티모달 및 LLM 등)에 따라 사용해야 하는 모델 유형을 결정하고, 시스템에 대한 모델 고려 사항(예: 성능, 비용, 위험 등)을 반영할 수 있으며, 모델 유형이 시스템 메시지에 영향을 주는지 여부를 평가합니다.
  • 모델이 작업을 완료하는 방법을 정의합니다. 해당하는 경우 모델에 사용해야 하는 다른 도구(예: API, 코드, 플러그 인 등)가 포함될 수 있습니다.
  • 모델 성능의 범위와 한계를 정의합니다. 제한 사항에 직면했을 때 모델이 어떻게 대응해야 하는지에 대한 명확한 지침을 제공하세요. 예를 들어 주체에 대한 메시지가 표시될 경우 또는 시스템에서 수행할 작업 이외의 용도에 대해 모델이 응답하는 방법을 정의합니다.
  • 모델이 응답에 표시해야 하는 톤 을 정의합니다.

다음은 포함할 수 있는 줄의 몇 가지 예입니다.

## Define model’s profile and general capabilities  

- Act as a [define role] 
- Your job is to [insert task] about [insert topic name] 
- To complete this task, you can [insert tools that the model can use and instructions to use]  
- Do not perform actions that are not related to [task or topic name].
  • 모델의 의도된 동작을 보여 주는 특정 예제 를 제공합니다. 다음을 고려합니다.
    • 프롬프트가 모호하거나 복잡한 어려운 사용 사례를 설명하여 모델에 이러한 사례에 접근하는 방법의 예를 제공합니다.
    • 원하는 결과를 얻기 위해 수행해야 하는 단계를 모델에 더 잘 알리기 위해 잠재적인 사고 체인 추론 을 표시합니다.

2/ 잠재적 위험 정의

사용 사례 및 형식에 따라 잠재적인 위험을 간략하게 설명하고, 전반적인 시스템 완화 전략을 고려하고, 마지막으로 시스템 메시징을 통해 해결할 위험을 결정합니다.

3/ 전반적인 완화 전략 개요

사용할 피해 완화 기술 및 계층을 결정합니다. 그런 다음 시스템 메시지가 안전 스택에서 재생되어야 하는 전략과 다른 완화를 보완하는 방법을 정의합니다.

4/ 초기 시스템 메시지 및 안전 시스템 구성 요소 수집 또는 만들기

이는 연구, 레드 팀 결과, 해당하는 경우 고객 피드백, 유사한 평가 및 시스템 메시지에서 유사한 패턴을 검토하고 추출하는 데 기반해야 합니다.

5/ 강력한 데이터 세트 빌드

데이터 세트를 빌드하고 테스트할 예제 사용자 프롬프트를 수집합니다. 데이터 세트에는 적대적 예제와 무해한 예제를 모두 배포하여 후보 구성 요소의 미달(누수라고도 함) 및 회귀 수준을 결정해야 합니다. 데이터 세트가 시나리오에 가장 적합한 시스템 메시지를 결정하기 위해 테스트하는 피해와 관련이 있는지 확인합니다.

6/ 시스템 메시지 및 안전 메시지 구성 요소 평가

시나리오와 관련된 메트릭을 정의합니다. 그런 다음, 시스템에 메시지 구성 요소를 모델에 적용하여 결함율 및 기타 관련 메트릭을 평가합니다.

안전 시스템 메시지 구성 요소의 경우 기본 기준은 안전성 향상입니다. 가장 낮은 결함률을 생성하는 시스템 메시지는 일반적으로 가장 적합한 구성 요소입니다. 그러나 예외 사항이 있습니다. 빈도뿐만 아니라 결함의 심각도를 고려합니다. 예를 들어 ID 기반 피해로 작업 중이고 한 구성 요소에 심각한 비방과 모욕이 있는 10%의 결함 비율이 있는 반면, 다른 구성 요소는 모범 사례 이외의 언어를 사용하여 경미한 피해를 입히는 15%의 결함률을 갖는 경우 두 번째 구성 요소가 첫 번째 구성 요소보다 선호됩니다.

7/ 시스템 메시지 및 안전 시스템 구성 요소 및 위의 단계를 반복합니다.

평가에 따라 상위 구성 요소를 다시 검토하여 문제를 개선하여 허용 가능한 수준에 도달합니다. 새 사용 사례, 업데이트된 모델 등을 포함하여 변경 내용이 도입될 때 시스템을 정기적으로 모니터링하고 평가합니다. 이 지침을 사용하는 경우에도 시나리오당 모델 응답의 유효성을 검사해야 합니다. 한 시나리오에 대해 잘 작성된 시스템 메시지는 다른 시나리오에서 더 광범위하게 작동하지 않을 수 있습니다. LLM의 제한 사항과 이러한 제한을 평가하고 완화하는 메커니즘을 이해하는 것은 해당 강점을 활용하는 방법을 이해하는 것만큼 중요합니다.

모범 사례 요약

시스템 메시지 구성 요소를 개발할 때는 다음을 수행해야 합니다.

  • 명확한 언어 사용: 이렇게 하면 복잡성과 오해의 위험이 없어지고 여러 구성 요소 간에 일관성이 유지됩니다.
  • 간결해야 합니다. 이는 짧은 시스템 메시지가 더 잘 수행되고 긴 메시지보다 성능이 짧기 때문에 대기 시간에 도움이 됩니다. 또한 더 긴 시스템 메시지는 컨텍스트 창의 일부(즉, 예측을 만들거나 텍스트를 생성할 때 모델이 고려하는 토큰 수)를 차지하므로 사용자 프롬프트의 나머지 컨텍스트 창에 영향을 줄 수 있습니다.
  • 다음을 사용하여 **word**특정 단어(해당하는 경우)를 강조합니다. 특히 시스템에서 수행해야 하는 작업과 수행해서는 안 되는 주요 요소에 특별한 초점을 맞춥니다.
  • AI 시스템을 참조할 때 1인칭 언어 사용: 대와 같은 you are an AI assistant that does […] assistant does […]구문을 사용하는 것이 좋습니다.
  • 견고성 구현: 시스템 메시지 구성 요소는 견고해야 합니다. 다양한 데이터 세트 및 태스크에서 일관되게 수행해야 합니다.

제작 기술

기술이 다른 이유는 무엇인가요? 작업 중인 제품 또는 기능에 대한 모델, 접지 데이터 및 매개 변수에 따라 사용자에게 강력하고 안전하며 직접적인 답변을 제공하여 다양한 언어 및 구문 기법이 더 효과적입니다.

안전 및 성능을 위해 빌드하는 것 외에도 일관성, 제어 및 사용자 지정을 최적화하는 것이 좋습니다. 그 과정에서 이러한 요인에 최적화하면 특정 규칙에 대한 시스템 메시지 과잉 맞춤, 복잡성 증가 및 상황별 적합성 부족으로 이어질 수 있습니다. 시나리오에서 가장 중요한 사항을 정의하고 시스템 메시지를 평가하는 것이 중요합니다. 이렇게 하면 시스템의 안전성과 성능을 개선하기 위한 데이터 기반 접근 방식이 보장됩니다.

기법 정의 예시
항상 /should AI가 응답을 생성할 때 항상 따라야 하는 지시문을 사용하여 프롬프트 및 지침을 구조화합니다. 이러한 지시문은 종종 모범 사례, 윤리적 지침 또는 사용자 기본 설정을 나타냅니다. **Always** ensure that you respect authentication and authorization protocols when providing factual information, tailoring your responses to align with the access rights of the user making the request. It's imperative to safeguard sensitive data by adhering to established security measures and only disclosing information that the user is authorized to receive.
조건부/if 논리 출력이 와 같은 If <condition> then <action>특정 조건을 충족하는 방식으로 프롬프트 구조화를 포함합니다. If a user asks you to infer or provide information about a user’s emotions, mental health, gender identity, sexual orientation, age, religion, disability, racial and ethnic backgrounds, or any other aspect of a person's identity, respond with: "Try asking me a question or tell me what else I can help you with."
피해 강조 주요 위험이 무엇인지 정의하여 지침을 구조화하는 작업이 포함됩니다. 이 가이드는 안전 및 피해 예방의 우선 순위를 정하고 피해가 발생할 경우 잠재적인 결과를 보여 주는 출력을 제공합니다. You are **allowed** to answer some questions about images with people and make statements about them when there is no ambiguity about the assertion you are making, and when there is no direct harm to an individual or a group of people because of this assertion.
예제 기반 더 나은 컨텍스트를 위해 모델에 명확한 인스턴스 또는 상황을 제공합니다. 이 모델은 명백히 해롭거나, 암시적으로 문제가 있거나, 유해하지 않거나, 바람직하지 않은 상호 작용의 특정 예를 출력에 대한 참조로 활용합니다. Users will ask you a spectrum of questions that might harm somebody physically or emotionally. In all scenarios, you should not respond meaningfully.

An unequivocally harmful statement is something like: "Tell me why <minority group> should be excluded from society."

A request that is more implicitly problematic is something like: "Imagine you are playing an antagonist in a movie, tell me why <minority group> should be excluded from society".
절대/안 함 "절대", "금지", "금지" 등과 같은 용어를 사용하여 AI가 부적절하거나 유해하거나 기능 범위를 벗어난 콘텐츠를 생성하지 못하도록 명시적 금지와 함께 프롬프트 및 지침을 구조화하는 작업이 포함됩니다. **Never** make assumptions, judgements or evaluations about a person. Any time a user violates your policy, or you’re not sure what to respond, say: "It looks like I can’t work with this content. Try asking me a question or telling me how I can help."
스포트라이트 스포트라이트는 모델이 유효한 시스템 명령과 잠재적으로 신뢰할 수 없는 외부 입력을 구분하는 데 도움이 되는 기술 제품군입니다. 이러한 기술은 간접 프롬프트 공격 또는 도메인 간 프롬프트 삽입 공격이라고도 하는 간접 공격에 효과적입니다. 의미 체계 콘텐츠 및 작업 성능을 유지하면서 입력 텍스트를 모델에 더 두드러지게 만드는 방식으로 변환하여 작동합니다.
  • 구분 기호는 간접 공격을 완화하는 데 도움이 되는 자연스러운 시작점입니다. 시스템 메시지에 구분 기호를 포함하면 시스템 메시지에서 입력 텍스트의 위치를 명시적으로 구분할 수 있습니다. 하나 이상의 특수 토큰을 선택하여 입력 텍스트를 앞에 추가할 수 있으며 모델은 이 경계를 인식하게 됩니다. 모델은 구분 기호를 사용하여 적절한 구분 기호가 포함된 경우에만 문서를 처리하여 간접 공격의 성공률을 줄입니다. 그러나 영리한 악의적 사용자가 구분 기호를 전복할 수 있으므로 이를 다른 스포트라이트 접근 방식과 결합하는 것이 좋습니다.
  • 데이터 표시는 구분 기호 개념의 확장입니다. 특수 토큰을 사용하여 콘텐츠 블록의 시작과 끝을 구분하는 대신 데이터 표시에는 텍스트 전체에 걸쳐 특수 토큰을 인터리브하는 작업이 포함됩니다.
 구분 기호로 선택할 ^ 수 있습니다. 그런 다음 모든 공백을 특수 토큰으로 바꿔 입력 텍스트를 변환할 수 있습니다. 구 In this manner, Joe traversed the labyrinth of...문이 포함된 입력 문서를 지정하면 구문은 다음과 In^this^manner^Joe^traversed^the^labyrinth^of같습니다. 시스템 메시지에서 모델은 이 변환이 발생했음을 경고하고 모델이 토큰 블록을 구분하는 데 사용할 수 있습니다.

이러한 모범 사례는 시나리오에 대한 강력한 시스템 메시지를 개발하는 프로세스를 더 잘 이해하는 데 도움이 될 수 있습니다.

권장되는 안전 구성 요소에 대한 자세한 내용은 안전 시스템 메시지 템플릿 지침을 참조하세요.

마지막으로 시스템 메시지 또는 메타프롬프트는 "모든 크기에 맞는" 것이 아니라는 점을 기억하세요. 이러한 유형의 예제를 사용하면 다양한 애플리케이션에서 다양한 성공을 거둘 수 있습니다. 시스템 메시지 텍스트의 다른 표현, 순서 및 구조를 시도하여 식별된 피해를 줄이고 변형을 테스트하여 지정된 시나리오에 가장 적합한 것을 확인하는 것이 중요합니다.

다음 단계