일관된 채점을 위해 평가 루브릭 적용
Tip
자세한 내용은 텍스트 및 이미지 탭을 참조하세요.
수동 평가는 자동화된 메트릭이 캡처할 수 없는 필수 품질 인사이트를 제공하지만, 여러 사용자 평가자는 명확한 지침 없이도 동일한 응답의 점수를 다르게 매기는 경우가 많습니다. Adventure Works 팀 구성원 3명이 동일한 트레일 가이드 에이전트 응답을 평가할 때 한 명은 의도 확인에 대해 5를 평가하고 다른 하나는 응답 품질이 변경되었기 때문이 아니라 점수 기준을 다르게 해석하기 때문에 3을 평가합니다. 일관되지 않은 평가는 최적화 결정을 저해하여 품질이 개선되었는지 아니면 인간 평가자가 응답을 더 관대하게 판단했는지를 결정하는 것이 불가능합니다. 여기서는 루브릭, 보정 예제를 사용한 평가자 학습 및 평가자 간 안정성 테스트를 통해 평가 일관성을 만드는 방법을 알아봅니다.
일관된 수동 평가에는 다음이 필요합니다.
- 구체적인 예제를 사용하여 각 점수 수준을 정의하는 자세한 루브릭
- 인간 평가자가 점수 매기기를 연습하고 해석에 맞춰 조정하는 보정 연습
- 시간에 따른 규약을 측정하고 유지하기 위한 평가자 간 안정성 테스트
- 평가 기준 정렬 – 최종적으로 인간이 참여하는 워크플로를 위해 내장 또는 사용자 지정 자동 평가자와 평가 기준을 일치시킵니다.
Microsoft Foundry가 기본 제공 또는 사용자 지정 자동화된 평가자로 지원하는 품질 메트릭을 선택하면 점진적인 평가 전략을 사용할 수 있습니다. 초기 최적화 중에 수동 사용자 평가로 시작하여 품질을 깊이 이해한 다음 이해가 성숙함에 따라 사람 스폿 검사를 사용하여 자동화된 평가로 전환합니다. 이 휴먼 인 더 루프 접근 방식은 품질 감독을 유지하면서 평가를 확장합니다.
특정 예제를 사용하여 평가 루브릭 만들기
평가 루브릭은 모호성을 제거하는 구체적인 예제를 사용하여 각 점수의 의미를 정확하게 정의합니다. 루브릭이 없으면 "의도 확인 점수 4"는 서로 다른 평가자에게 다르게 해석될 수 있으며, 일부는 "양호"라고 생각하는 반면 다른 사람은 "사소한 문제가 있지만 허용 가능함"이라고 간주합니다. 명확한 루브릭은 공통된 이해를 확립합니다.
Adventure Works 트레일 가이드 에이전트의 경우 선택한 각 평가 기준에 대한 루브릭을 만듭니다. 루브릭에는 메트릭 정의, 설명이 포함된 채점 수준 및 각 수준의 예제 응답이 포함됩니다.
의도 해결 기준표(1-5 점 척도):
| Score | Definition | 응답 예제 |
|---|---|---|
| 5 | 전체 정보를 사용하여 사용자의 필요를 완전히 해결합니다. | 사용자는 3 월 스코틀랜드 하이킹 장비에 대해 묻습니다. 에이전트는 방수 층을 권장하고, 재료를 지정하고, Adventure Works 제품을 제안합니다. |
| 4 | 핵심 요구를 해결하지만 사소한 부족이 있습니다. | 사용자는 스코틀랜드 기어에 대해 묻습니다. 에이전트는 방수 항목을 권장하지만 재료 또는 제품을 지정하지 않습니다. |
| 3 | 필요를 부분적으로 충족하나, 핵심 정보가 누락됨. | 사용자는 스코틀랜드 기어에 대해 묻습니다. 에이전트는 특정 권장 사항 없이 일반적으로 방수를 언급합니다. |
| 2 | 탄젠트적으로 관련되지만 코어 필요를 해결하지 않음 | 사용자는 스코틀랜드 기어에 대해 묻습니다. 에이전트는 기어를 해결하지 않고 스코틀랜드 산책로에 대해 설명합니다. |
| 1 | 사용자의 의도를 완전히 누락 | 사용자는 스코틀랜드 기어에 대해 묻습니다. 에이전트가 다른 영역에 대해 설명합니다. |
관련성, 접지성 및 평가한 다른 조건에 대해 유사한 루브릭을 만듭니다. 각 점수 수준을 보여 주는 테스트 프롬프트의 실제 예제 응답을 포함합니다. 이러한 예제들은 인간 평가자들을 훈련시키기 위한 보정 집합이 됩니다.
캘리브레이션 연습을 사용하여 사람 평가자를 훈련
인간 평가기 교육을 통해 모든 팀 구성원이 실험 결과를 평가하기 전에 루브릭을 일관되게 해석할 수 있습니다. 학습은 인간 평가자가 미리 선택된 응답의 점수를 매기고, 점수를 논의하고, 해석에 부합하는 보정 연습을 사용합니다.
점수 범위에 걸쳐 있는 5~8개의 에이전트 응답을 선택합니다. 여기에는 점수 5, 3 및 1의 명확한 예와 수준 사이에 속하는 모호한 응답이 포함됩니다. Adventure Works의 경우 다양한 품질 수준을 보여주는 "스코틀랜드 고원 행진 기어" 테스트 프롬프트에 대한 응답을 포함할 수 있습니다. 의도한 점수를 공개하지 않고 평가 팀에 각 응답을 표시합니다. 보정 집합의 서식을 간단한 텍스트 블록으로 지정합니다.
성능이 낮은 응답
Test Prompt: What gear do I need for hiking in the Scottish Highlands in March?
Agent Response: The Scottish Highlands feature beautiful terrain with mountains, lochs, and glens. Popular trails include the West Highland Way and routes around Ben Nevis. March is considered shoulder season with fewer tourists than summer months. The landscape offers stunning views and diverse wildlife including red deer and golden eagles.
고성능 응답
Test Prompt: What gear do I need for hiking in the Scottish Highlands in March?
Agent Response: For March hiking in the Scottish Highlands, you need waterproof and windproof outer layers since conditions are wet and windy. Look for jackets with Gore-Tex or similar waterproof-breathable materials. Adventure Works offers the StormShield jacket (rated to 20,000mm waterproof) and TrailGuard pants perfect for these conditions. Also bring insulating mid-layers like fleece, moisture-wicking base layers, waterproof hiking boots, gloves, and a warm hat. March temperatures range 2-8°C with frequent rain and possible snow at higher elevations.
각 인간 평가자가 루브릭을 사용하여 독립적으로 보정 응답의 점수를 매깁니다. 그런 다음, 팀을 모아 점수를 비교합니다. 점수가 1점 이상 다른 응답의 경우 다른 해석으로 이어진 원인을 설명합니다. 한 사람 평가자는 완전성에 초점을 맞추고 다른 평가자는 정확도에 우선 순위를 지정할 수 있습니다. 이러한 해석 차이를 해결하기 위해 루브릭을 명확히 합니다. 혼동을 일으키는 원인에 따라 루브릭 설명을 업데이트합니다.
팀이 루브릭을 해석하고 적용하는 방법에 대한 평가자 간 규약을 달성할 때까지 보정 연습을 반복합니다. 품질 표준에 대한 이러한 공유 이해는 일관된 평가의 기초가 됩니다. 리포지토리의 보정된 예제를 루브릭과 함께 문서화합니다. 이 예제는 새 팀 구성원이 참가하거나 사용자 평가자에 새로 고침이 필요할 때 참조 자료가 됩니다.
평가자 간 안정성 테스트 및 유지 관리
평가자 간 안정성은 사람 평가자가 동일한 콘텐츠의 점수를 얼마나 일관되게 평가하는지 측정합니다. 높은 안정성은 최적화 결정이 개별 평가자 기본 설정이 아닌 안정적인 품질 평가에 달려 있는 것을 의미합니다. 주기적으로 안정성을 테스트하여 시간이 지남에 따라 점수 드리프트를 식별합니다.
평가자 간 안정성을 테스트하려면 여러 사람 평가자가 최근 실험에서 동일한 에이전트 응답 집합(아마도 10-15개 응답)을 독립적으로 채점하도록 합니다. 점수 일치 계산: 사람 평가자가 동일한 점수 또는 1점 차이의 점수를 얼마나 자주 할당하는지를 계산합니다. 3개의 메트릭(총 점수 매기기 기회 30개)에서 10개의 응답을 채점하는 3명의 인간 평가자가 있는 Adventure Works의 경우 계약은 다음과 같습니다.
| 계약 수준 | 수량 | 백분율 |
|---|---|---|
| 정확한 규약(모든 사람 평가자가 동일한 점수를 할당) | 18 | 60% |
| 1점 이내(1점 범위 내의 모든 점수) | 10 | 33% |
| 점수가 2점 이상 차이가 있는 | 2 | 7% |
1점 차이 내에서 적어도 80%의 합의를 목표로 합니다. 서로 다른 점수가 발생하면 인간 평가자와의 특정 응답을 검토하여 불일치의 원인을 파악합니다. 이러한 상황을 명확히 하기 위해 루브릭을 업데이트합니다. 합의가 80% 미만으로 떨어지면 추가 캘리브레이션 교육을 수행합니다.
비고
백분율 계약(1점 이내 점수 계산)은 소규모 평가 팀에 적합한 평가자 간 안정성에 대한 간단하고 해석 가능한 측정값을 제공합니다. 연구 문헌은 코헨의 카파 (두 명의 쥐의 경우), Fleiss의 카파 (여러 쥐의 경우), 크리펜도르프의 알파 및 인트라 클래스 상관 계수 (ICC)와 같은 추가 통계 측정값을 설명합니다. 이러한 측정값은 확률 규약을 고려하며 보다 엄격한 안정성 추정치를 제공하지만 해석하려면 통계 지식이 필요합니다. 최적화 실험에서 수동 평가를 위해 백분율 규약은 품질 감독을 유지하면서 실용적인 단순성을 제공합니다.
각 주요 최적화 이니셔티브의 시작 부분과 팀에 새 사용자 평가자를 추가할 때 평가자 간 안정성을 테스트합니다. 평가 작업이 몇 주 또는 몇 달 동안 계속됨에 따라 개별 평가자가 보정된 표준에서 벗어날 수 있습니다. 주기적인 신뢰성 검사는 평가 품질을 손상하기 전에 이러한 드리프트를 잡아냅니다.
일관된 평가 사례가 설정되면 평가 데이터를 체계적으로 분석하여 증거 기반 최적화 권장 사항을 만들 준비가 된 것입니다.