Copilot 에이전트 평가를 위한 품질 신호 도출

품질 신호는 에이전트 응답이 성공하거나 실패하는 이유 를 이해하는 구조화된 방법을 제공합니다. 팀이 평가 결과를 의미 있는 범주로 그룹화하고, 개선 사항에 우선순위를 지정하고, 시간 경과에 따른 진행 상황을 추적하는 데 도움이 됩니다.

이 문서에서는 평가 결과에서 품질 신호를 도출하여 문제를 진단하고, 패턴을 식별하고, Copilot 에이전트 성능을 개선하는 방법을 설명합니다.

품질 신호를 사용하여 팀은 다음을 수행할 수 있습니다.

  • 반복되는 오류 패턴 식별
  • 영향에 따라 개선 사항에 우선순위 지정
  • 반복 전반에 걸쳐 성능 추적
  • 결과를 이해관계자에게 명확하게 전달

품질 신호란?

품질 신호는 평가 결과의 패턴을 나타내는 범주입니다. 미리 정의된 규칙보다는 관찰된 동작에서 비롯됩니다.

어설션과 품질 신호는 평가 워크플로에서 함께 작동합니다.

  • 어설션은 응답의 통과 여부를 결정합니다.
  • 품질 신호는 어설션 결과를 상위 수준 패턴으로 그룹화합니다.
측면 어설션 품질 신호
수준 구체적이고 구체적인 내용 추상적이고 범주적
용도 통과 또는 실패 결정 패턴 진단
수량 테스트 사례당 여러 개 에이전트당 적음
기원 테스트 전에 정의됨 결과에서 파생됨
예제 "15일" 포함 정책 정확성

어설션을 정의한 후 어설션 결과에서 품질 신호를 도출하고 해당 신호를 사용하여 시나리오 전반에 걸쳐 성능을 추적합니다.

일반적인 품질 신호

Copilot 에이전트를 평가할 때 다음과 같은 일반적인 품질 신호를 사용합니다.

  • 정책 정확성 – 응답이 신뢰할 수 있는 지식 소스와 일치하는지 측정
  • 출처 특성 – 응답에서 정보 출처를 명확하게 식별하는지 측정
  • 개인 설정 – 응답에서 관련 사용자 컨텍스트를 사용하는지 여부를 측정합니다.
  • 도구 정확도 – 도구 호출이 올바르게 실행되는지 여부를 측정합니다.
  • 도구 응답 처리 – 에이전트가 도구 출력을 올바르게 해석하는지 여부를 측정합니다.
  • 에스컬레이션 적절성 – 필요할 때 요청이 인적 지원으로 라우팅되는지 여부를 측정합니다.
  • 개인 정보 보호 – 중요한 정보가 보호되는지 측정
  • 작업 활성화 – 응답이 명확한 다음 단계를 제공하는지 여부를 측정합니다.

신호 평가 및 일반적인 원인

다음 표에는 각 품질 신호에 대한 지표가 나열되어 있습니다.

품질 신호 통과 표시기 실패 표시기 일반적인 원인
정책 정확성 올바른 값 및 날짜

정확한 정책 세부 정보

현재 설명서와 일치
오래되었거나 잘못된 값

충돌하거나 조작된 세부 정보
오래되었거나 중복된 문서

잘못된 검색 결과

환각 모델
출처 특성 특정 문서 또는 섹션에 대한 참조

명확한 특성 표시
출처 제공 안 됨

모호하거나 일반적인 참조
원본 메타데이터 누락

지침은 속성을 강조하지 않습니다.
개인 설정 지역별 또는 역할별 응답

컨텍스트 인식 권장 사항
사용자 컨텍스트를 무시하는 일반 응답

잘못된 지역 또는 역할 기반 정보
에이전트에 대해 사용자 컨텍스트를 사용할 수 없음

대상 그룹별로 분류되지 않은 지식 원본
공구 정확도 올바른 도구 선택

유효한 매개 변수 및 식별자

모든 필수 필드를 채웁니다.
누락되거나 잘못된 매개 변수

잘못된 도구 입력
모호한 API 사양

잘못된 매개 변수 매핑
도구 응답 처리 공구 결과의 정확한 전달

성공 및 오류 상태의 올바른 처리
잘못된 성공 클레임

무시되거나 잘못 해석된 도구 오류
오류 처리 지침 누락

도구 응답의 잘못된 해석
에스컬레이션 적절성 중요하거나 복잡한 문제가 올바르게 라우팅됨

에스컬레이션 규칙 준수
에이전트가 지원되지 않는 시나리오를 처리하려고 시도합니다.

고위험 요청 에스컬레이션 실패
정의되지 않은 에스컬레이션 기준

지나치게 허용적인 지침
개인 정보 보호 제한된 데이터 공개 거부

승인된 정보로 제한된 응답
중요한 데이터의 공개 또는 유추

보호된 정보를 노출하는 응답
취약한 액세스 제어

개인 정보 보호 지침이 부족합니다.
작업 활성화 특정 지침

링크, 식별자 또는 연락처 세부 정보
모호하거나 불완전한 지침

실행 가능한 단계 누락
지식 원본에서 누락된 절차적 정보

과도하게 요약된 응답

품질 신호를 유도하는 방법

품질 신호는 미리 정의된 검사 목록이 아닌 평가 결과의 패턴에서 파생됩니다. 품질 신호를 도출하려면 다음을 수행합니다.

  • 초기 평가 테스트 사례 집합을 실행합니다.
  • 테스트 사례에서 실패한 응답을 검토합니다.
  • 실패에서 반복되는 패턴을 식별합니다.
  • 각 패턴을 품질 신호로 정의합니다.
  • 관련 어설션에 해당 신호를 사용하여 태그를 지정합니다.
  • 신호별 통과율을 추적합니다.

실제 품질 신호

다음 예에서는 직원 온보딩 에이전트에 대해 정의된 품질 신호를 보여 줍니다.

관찰 식별된 패턴 품질 신호
올바른 PTO 값을 반환했습니다. 정확한 지식 검색 정책 정확성
답변에 인용된 출처 출처 표시 포함 출처 특성
잘못된 지역 정보가 반환됨 컨텍스트가 사용되지 않음 개인 설정
잘못된 매개 변수를 사용하여 호출된 도구 실행 오류 공구 정확도
HR로 적절하게 라우팅된 요청 올바른 에스컬레이션 에스컬레이션 적절성
거의 노출될 뻔한 중요한 데이터 개인 정보 경계 위험 개인 정보 보호
응답에 다음 단계가 포함됨 실행 가능한 응답 작업 활성화

다음은 품질 신호에 대한 구체적인 측정값입니다.

정책 정확성 출처 특성 공구 정확도
올바른 PTO 지속 시간을 포함합니다. 권위 있는 문서를 인용합니다. 올바른 도구를 호출합니다.
올바른 등록 마감일 포함 특정 섹션을 참조합니다. 유효한 매개 변수를 사용합니다.
오래된 정책을 참조하지 않음 올바른 결과를 반환합니다.

품질 신호 적용 및 전달

품질 신호를 사용하여 평가 워크플로를 추진하고 인사이트를 전달합니다. 품질 신호를 적용하려면 다음을 수행합니다.

  • 태그 어설션 – 테스트 사례의 각 어설션에 신호 태그를 추가합니다.

    테스트 사례: 특허 번호-001
    프롬프트: "신입 사원은 몇 일의 휴가를 받나요?"

    어설션:

    • 응답에 "15일"이 포함되어 있습니다.
      신호: 정책 정확성

    • 응답은 직원 핸드북을 인용합니다.
      신호: 소스 특성

    • 응답에는 2년 재임 대진표가 언급되어 <있습니다.
      신호: 개인 설정

  • 메트릭 계산 – 신호별로 통과 및 실패 결과를 집계합니다.

    품질 신호 테스트 사례 통과 실패 합격률
    정책 정확성 25 23 2 92%
    출처 특성 25 20 5 80%
    개인 설정 15 11 4 73%
    공구 정확도 12 10 2 83%
    에스컬레이션 적절성 8 8 0 100%
    개인 정보 보호 10 10 0 100%
  • 문제 우선 순위 지정 – 통과율이 낮거나 영향이 큰 신호에 집중합니다.

    1. 개인화(73%) - 가장 큰 격차, 먼저 조사.
    2. 출처 특성(80%) - 2순위.
    3. 공구 정확도(83%) - 세 번째 우선 순위.
    4. 정책 정확도(92%) - 사소한 문제, 모니터링.
  • 진행률 추적 – 에이전트 버전에서 신호 통과율을 모니터링합니다.

    • 버전 1.0 > , 1.1 > , 1.2 > , 1.3
    • 개인화: 73% > 78% > 85% > 91%(개선 중)
    • 출처 출처: 80% > 82% > 88% > 90%(개선 중)
    • 도구 정확도: 83% 85% >> 84% > 92%(v1.2 회귀 후 개선됨)

품질 신호는 이해 관계자의 대화를 변화시킵니다. 이러한 특이성을 통해 대상 수정, 정량적 진행률 추적 및 보다 명확한 이해 관계자 커뮤니케이션이 가능합니다.

신호 없이: 에이전트의 성능이 좋지 않습니다. 사용자들이 불평하고 있습니다.

신호 사용: 정책 정확도는 92%로 목표를 달성하고 있습니다. 그러나 마지막 업데이트 이후 개인화는 73%로 떨어졌습니다. 특히 영국 직원들은 미국 휴일 정보를 받고 있습니다. 근본 원인을 확인했습니다. 컨텍스트 검색이 위치 데이터를 전달하지 않는다는 것입니다. 다음 릴리스에 대한 수정이 진행 중입니다.

에이전트 유형별 품질 신호

품질 신호 및 우선 순위는 평가하는 에이전트 유형에 따라 다릅니다.

에이전트 유형 신호 Priority(우선 순위)
지식 기반 정책 정확성 고점
출처 특성 고점
완전성 중간
개인 설정 중간
도구 호출 공구 정확도 고점
도구 응답 처리 고점
작업 활성화 고점
오류 복구 중간
하이브리드 라우팅 정확도 고점
지식 신호 중간
도구 신호 중간
에스컬레이션 적절성 중간
고객 대면 개인 정보 보호 고점
톤과 전문성 고점
에스컬레이션 적절성 고점
해결 완전성 중간

일반적인 문제를 피하기

품질 신호가 유용하고 일관되며 실행 가능하도록 다음 문제를 방지합니다.

일반 범주 대신 특정 신호 사용

"정확성", "유용성" 또는 "관련성"과 같이 너무 광범위한 신호는 실행 가능한 인사이트를 제공하지 못합니다. 일반 신호는 근본 원인을 식별하거나 개선의 우선순위를 지정하기 어렵게 만듭니다.

대신 평가 결과에서 관찰 가능한 특정 패턴을 기반으로 신호를 정의합니다.

  • 피하는 방법: 정확성
  • 선호: 정책 정확도, 출처 특성

지나치게 세분화된 신호 피하기

범위가 좁은 신호를 너무 많이 만들면 인사이트가 개선되지 않고 복잡성이 증가합니다. 세분화가 지나치면 분석이 조각화되고 의미 있는 추세를 추적하기가 더 어려워집니다.

대신, 관련 행동을 더 광범위하고 재사용 가능한 신호 범주로 그룹화합니다.

  • 피하기: PTO 정확도, 복리후생 정확도, 휴일 정확도
  • 선호: 정책 정확성

모호한 통과 및 불합격 조건 피하기

"정확성"과 같은 모호한 신호 정의에는 측정 가능한 표준이 부족합니다. 명확한 기준이 없으면 결과는 일관성이 없고 해석하기 어렵습니다.

대신 평가 결과와 연결된 명시적이고 관찰 가능한 동작을 사용하여 신호를 정의합니다.

  • 피하기: "응답이 올바른"
  • 선호: "응답에 올바른 값이 포함되어 있고 신뢰할 수 있는 출처를 인용합니다"

다음 단계