디자인 평가 프롬프트

평가의 품질은 프롬프트의 품질에 따라 달라집니다. 잘 설계된 프롬프트는 사용자가 의도한 바를 그 이상도 이하도 정확하게 테스트합니다.

이 문서에서는 명확하고 실행 가능한 결과를 생성하는 평가 프롬프트를 디자인하는 방법을 설명합니다.

효과적인 평가 프롬프트의 구조

효과적인 평가 프롬프트는 다음 네 가지 특징을 공유합니다.

  • 단일 의도
  • 현실적인 표현
  • 데이터 기반
  • 독립형

단일 의도

각 프롬프트는 하나의 사용자 목표 또는 질문을 테스트해야 합니다. 다중 의도 프롬프트는 실패의 원인을 식별하기 어렵게 만듭니다.

다중 의도(회피) 단일 의도(기본 설정)
내 PTO 잔액은 얼마이고 노트북을 주문할 수 있나요? 내 PTO 잔액은 어떻게 됩니까?
건강상의 이점과 401k 매치에 대해 말씀해 주세요. 어떤 건강 보험 플랜을 이용할 수 있습니까?

여러 기능을 함께 테스트하려면 의도를 단일 프롬프트로 결합하는 대신 다중 전환 대화 평가를 사용합니다.

현실적인 표현

프롬프트는 비공식적인 언어, 불완전한 문장, 다양한 수준의 세부 사항 등 사용자가 실제로 의사소통하는 방식을 반영해야 합니다.

지나치게 격식을 차리기 현실적
고용 첫해에 직원의 연간 유급 휴가 할당에 관한 정보를 제공하십시오. 신입 사원은 몇 일의 휴가를 받습니까?
컴퓨팅 장비 조달 요청을 시작하고 싶습니다. 노트북을 주문해야 합니다.

다음에서 현실적인 프롬프트를 도출할 수 있습니다.

  • 프로덕션 쿼리 로그
  • 사용자 조사 세션
  • 지원 티켓
  • 일상적인 직장 대화

데이터 기반

프롬프트는 데이터에 기반해야 합니다. 기반 데이터 데이터를 사용할 수 있는 경우 특정 엔터티, 값 및 식별자를 사용합니다. 이 접근 방식을 사용하면 평가를 측정하고 검증할 수 있습니다.

근거 프롬프트를 사용하면 "응답에 올바른 번호가 포함되어 있습니다"와 같은 모호한 확인 대신 "응답에 15일이 포함됩니다"와 같은 정확한 어설션을 허용합니다.

데이터 접지 없이

프롬프트: "엔지니어를 위한 PTO 정책은 무엇입니까?"

기반 데이터 포함

기반 데이터:

  • 직원: Marcus Johnson
  • 학과: 공학
  • 재임 기간: 8개월
  • 관리자: Lisa Park
  • 위치: 오스틴 사무실

프롬프트: "저는 엔지니어링 팀에 있습니다. 휴가는 몇 일이나 받을 수 있나요?"

독립형(단일 턴)

단일 턴 평가의 경우 각 프롬프트에 필요한 모든 컨텍스트가 포함되어야 합니다. 에이전트는 이전 대화 전환에 의존할 수 없습니다. 다음 표에서는 자체 포함 프롬프트의 예를 보여 줍니다.

독립형 상황에 따라 다름(피하기)
PPO 건강 플랜은 무엇을 다루나요? 다른 건강 플랜은 어떻습니까?
PPO 건강 플랜의 직원 비용은 얼마입니까? 그리고 그 비용은 얼마입니까?
16인치 MacBook Pro를 주문할 수 있나요? 대신 주문할 수 있나요?

여러 턴에 걸쳐 있는 시나리오의 경우 다중 턴 대화를 사용합니다.

프롬프트 변형

사용자들이 모두 같은 방식으로 같은 질문을 하는 것은 아닙니다. 일반화를 테스트하려면 각 프롬프트의 변형을 세 가지 만듭니다.

정식 프롬프트

정식 프롬프트는 명시적이고 완전하며 모호하지 않습니다. 기준선 역할을 합니다.

  • 필요한 매개 변수를 모두 포함합니다.
  • 정확한 용어를 사용합니다.
  • 모호성을 피합니다.
  • 이상적인 쿼리를 나타냅니다.

예제

"현재 PTO 정책에 따라 근속 기간이 2년 미만인 직원은 매년 몇 일의 유급 휴가를 받습니까?"

자연어 변형

자연어 변형은 일상적인 대화 표현을 반영합니다. 자연어 변형:

  • 캐주얼한 대화형 언어를 사용합니다.
  • 동의어 또는 비공식적인 용어를 포함할 수 있습니다.
  • 기술적 식별자를 피합니다.
  • 답변할 수 있을 만큼 완전하게 유지하세요.

예제

"이봐, 신입사원으로 얼마나 휴가를 받을 수 있나요?"

다음 표에서는 표준 프롬프트와 자연어 변형을 비교합니다.

기술 정식 자연 변형
동의어 "유급 휴가" "휴가", "휴가", "PTO"
비공식적 표현 "며칠 동안 받을 것" "얼마를 받을 것인가"
암시적 컨텍스트 "근속 기간이 2년인 <직원" "신입 사원으로서"
캐주얼한 케이스 적절한 대문자 표시 소문자, 최소 문장 부호

견고성 프로브

견고성 프로브는 에이전트가 불완전한 입력을 얼마나 잘 처리하는지를 평가합니다. 견고성 프로브:

  • 현실적인 오타를 포함합니다.
  • 문법 오류가 포함된 내용입니다.
  • 약어나 약어를 사용합니다.
  • 소음 하에서 의도 인식을 테스트합니다.

예: "Whats my vacaton days entitlement"

다음 표에서는 테스트할 패턴의 예를 보여 줍니다.

패턴 예제
오타 "휴가" 대신 "vacaton"
문장 부호 누락 "what's" 대신 "whats"
단어 누락 "What days get"
약어 "PTO 발?"
실행 중 쿼리 "노트북 MacBook Pro 16인치 필요"

완전한 프롬프트 변형 예제

다음 예제에서는 단일 시나리오에 대한 세 가지 프롬프트 유형을 모두 보여 줍니다.

시나리오: 장비 주문

이 시나리오에는 다음과 같은 기반 데이터가 포함됩니다.

  • 직원: Katrin Pold
  • 부서: 제품 디자인
  • 시작 날짜: 2024-01-15
  • 장비 예산: $3,500
  • 승인된 항목: MacBook Pro(14형 또는 16형), 외부 모니터, 키보드, 마우스

프롬프트 변형

정식

"저는 2024년 1월 15일부터 제품 디자인 부서의 신입 사원입니다. 16인치 MacBook Pro 노트북을 주문해야 합니다. IT 주문 시스템을 통해 이 장비 요청을 제출하십시오."

자연어

"안녕하세요, 제품 디자인 팀에 막 합류했는데 노트북을 설정해야 합니다. MacBook Pro를 구입할 수 있습니까? 가급적이면 16인치입니다."

견고성 프로브

"제품 디자인의 새로운 직업을 위해 MacBook Pro 16in을 주문해야 합니다"

어설션(모든 변형에 적용):

  • 응답은 장비 주문이 시작되었음을 확인합니다.
  • 에이전트가 OrderEquipment 도구를 호출했습니다.
  • 도구 호출에 "MacBook Pro 16인치"(또는 동급 제품)가 포함됩니다.
  • 응답에는 주문 확인서 또는 참조 번호가 포함됩니다.

시나리오: 개인화를 사용한 정책 질문

이 시나리오에는 다음과 같은 기반 데이터가 포함됩니다.

  • 직원: James Wright
  • 위치: 영국 런던 사무소
  • 재임 기간: 6개월
  • 고용 유형: 정규직

프롬프트 변형

정식

"영국 런던 사무소에 근무하며 6개월 동안 재직한 정규직 직원으로서 올해 어떤 공휴일을 받을 자격이 있습니까?"

자연어

"저는 런던 사무실에서 일하는데, 어떤 공휴일을 쉬나요?"

견고성 프로브

"올해 영국 사무실 휴가가 쉬나요?"

어설션(모든 변형에 적용):

  • 응답에는 미국 공휴일이 아닌 영국 공휴일이 나열되어 있습니다.
  • 응답에는 적어도 새해 첫날, 부활절, 크리스마스가 포함됩니다.
  • 응답은 영국의 정책 또는 일정을 참조합니다.
  • 응답에는 7월 4일이나 추수감사절과 같은 미국 공휴일에 대멘션이 언급되어 있지 않습니다.

피해야 할 패턴

다음 프롬프트 패턴을 피합니다.

다중 의도 프롬프트

다중 의도 프롬프트를 피합니다. 프롬프트에 여러 의도가 포함된 경우 어떤 의도가 실패를 일으켰는지 확인할 수 없습니다.

  • 피하십시오: 내 PTO 잔액은 얼마이고 건강 보험 옵션에 대해 알려주시겠습니까?
  • 대신 다음을 사용하세요. 별도의 프롬프트로 분할하거나 다중 스레드 평가를 사용합니다.

스키마 인식 프롬프트

스키마 인식 프롬프트를 피합니다. 스키마 인식 프롬프트는 사용자가 내부 API 또는 도구 이름을 모르기 때문에 제대로 작동하지 않습니다.

  • 피하십시오: "직원 ID 12345에 대한 GetPTOBalance API 호출"
  • 대신 다음을 사용하세요. "내 현재 휴가 잔액은 얼마야?"

모호한 프롬프트

모호한 프롬프트를 피합니다. 프롬프트가 모호하면 측정 가능한 어설션을 정의할 수 없습니다.

  • 피하십시오: "HR 관련 작업을 도와주세요"
  • 대신 다음을 사용하세요. "치과 보험에 가입하려면 어떻게 할까요??"

선행 프롬프트

예상되는 답변을 암시하는 프롬프트는 상담원의 실제 추론 효율성을 테스트하지 않습니다.

  • 피하십시오: "PTO 정책에는 15일이 나와 있죠?"
  • 대신 다음을 사용하세요. "신입 사원은 몇 일의 PTO 일수를 받습니까?"

자체 포함 아님(단일 턴)

이전 컨텍스트에 의존하는 프롬프트를 피하세요.

  • 피하십시오: "다른 옵션은 어떻습니까?"
  • 대신 다음을 사용하세요. "HMO와 PPO 건강 플랜의 차이점은 무엇입니까?"

사용자 시나리오에서 프롬프트 생성

기능 목록 대신 실제 사용자 의도로 시작합니다.

  • 대표적인 사용자 질문을 수집합니다.
  • 시나리오(예: 정책 조회, 조치, 에스컬레이션)별로 그룹화합니다.
  • 각 시나리오에 대한 정식 프롬프트를 작성합니다.
  • 자연어 및 견고성 변형을 추가합니다.
  • 구체적인 데이터가 포함된 그라운드 프롬프트입니다.

이 접근 방식을 사용하면 평가에 실제 사용이 반영됩니다.

AI 지원 프롬프트 확장(선택 사항)

강력한 기준을 설정한 후 AI를 사용하여 적용 범위를 확장합니다. AI에게 더 많은 변형을 제안해 달라고 요청하세요. 현실감과 관련성을 위해 각 제안을 검토합니다. 부자연스럽거나, 스키마를 인식하거나, scope를 벗어난 프롬프트를 거부합니다. 적용 범위를 개선하는 경우에만 프롬프트를 추가합니다.

프롬프트 적용 범위 체크리스트

이 체크리스트를 사용하여 프롬프트 범위가 완료되었는지 확인합니다.

기능 적용 범위

  • 모든 도구 또는 작업에는 하나 이상의 테스트 사례가 있습니다
  • 모든 지식 영역이 표현됩니다.
  • 에스컬레이션 동작을 테스트합니다.
  • Out-of-scope 시나리오가 테스트됨

변형 적용 범위

  • 정식 프롬프트
  • 자연어 변형
  • 견고성 프로브

에지 케이스

  • 매우 짧은 프롬프트
  • 매우 긴 프롬프트
  • 모호한 요청
  • 정보 없음
  • 유효하지 않거나 지원되지 않는 요청

개인 설정(해당하는 경우)

  • 다른 사용자 위치
  • 다양한 재직 기간
  • 다른 역할 또는 부서

다음 단계