소개
팀은 고객 문의를 처리하는 AI 에이전트를 배포하고 처음에는 잘 수행합니다. 그러나 비용이 증가하고 고객 피드백이 응답 품질 문제를 강조함에 따라 중요한 과제에 직면하게 됩니다. 어떤 변화가 도움이 될지 추측하지 않고 에이전트를 체계적으로 개선하려면 어떻게 해야 할까요?
임의 최적화 시도는 시간과 리소스를 낭비합니다. 더 나은 성능을 기대하는 모델을 전환할 수 있지만 영향을 측정하지 않으면 품질이 개선되었는지, 비용이 감소했는지 또는 응답 시간이 의미 있는 것으로 변경되었는지 확인할 수 없습니다. 다른 팀 구성원은 동일한 에이전트 응답을 다르게 평가하므로 실험을 객관적으로 비교할 수 없습니다.
효과적인 에이전트 최적화에는 구조적 평가가 필요합니다. 품질, 비용 및 성능 특성을 나타내는 명확한 메트릭; 한 번에 하나의 변경을 테스트하는 제어된 실험; 인간의 편견을 제거하는 일관된 채점 방법. 이러한 체계적인 접근 방식이 없으면 최적화는 증거 기반 엔지니어링이 아닌 추측이 됩니다.
아웃도어 어드벤처 회사인 Adventure Works는 고객이 트레일 추천, 숙박 예약 및 기어 제안을 통해 하이킹 여행을 계획하는 데 도움이 되는 트레일 가이드 에이전트를 운영합니다. 팀은 GPT-4에서 GPT-4 mini로 전환하여 운영 비용을 줄이려고 하지만 품질이 4.2/5.0 고객 만족도 목표 이하로 저하되지 않고 응답 시간이 30초 미만으로 유지되는지 확인해야 합니다. 이러한 변경을 객관적으로 테스트하려면 구조화된 접근 방식이 필요합니다.
학습 목표
이 모듈에서 학습할 내용은 다음과 같습니다.
- 품질, 비용 및 성능에 대한 명확한 메트릭을 사용하여 평가 실험 디자인
- git 기반 워크플로를 적용하여 에이전트 변형을 체계적으로 구성 및 비교
- 사용자 평가자 간에 일관된 채점을 보장하는 평가 루브릭 만들기
먼저 에이전트 성능을 객관적으로 측정하는 평가 실험을 디자인하는 방법을 알아보겠습니다.
Note
우리는 다른 사람들이 다른 방법으로 배우는 것을 좋아한다는 것을 알고 있습니다. 이 모듈을 비디오 기반 형식으로 완료하도록 선택하거나 콘텐츠를 텍스트 및 이미지로 읽을 수 있습니다. 텍스트는 비디오보다 더 자세한 내용을 포함하므로 경우에 따라 비디오 프레젠테이션에 대한 추가 자료로 참조할 수 있습니다.